Công cụ tạo robots.txt
Tạo robots.txt hợp lệ: cho phép hoặc chặn bot, chặn đường dẫn bằng ký tự đại diện, thêm ngoại lệ Allow, Crawl-delay, URL sitemap và chặn bot huấn luyện AI.
Đường dẫn bắt đầu bằng /. * khớp với mọi ký tự và $ đánh dấu cuối URL.
Ngoại lệ bên trong thư mục bị chặn; quy tắc cụ thể nhất sẽ được áp dụng.
Bing và Yandex tuân theo; Google bỏ qua.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Tạo robots.txt là gì?
Công cụ này tạo tệp robots.txt theo RFC 9309. Chọn cho phép bot truy cập website hay không, liệt kê các đường dẫn bị chặn (hỗ trợ ký tự đại diện * và $) cùng các ngoại lệ Allow, thêm Crawl-delay tùy chọn và URL sitemap, đồng thời có thể thêm một nhóm chặn bot huấn luyện AI và bot tìm kiếm AI như GPTBot, ClaudeBot, Google-Extended, CCBot và PerplexityBot.
Cách sử dụng Tạo robots.txt
- Chọn quy tắc mặc định: cho phép thu thập trừ các đường dẫn được liệt kê, hoặc chặn toàn bộ website.
- Nhập các đường dẫn Disallow và ngoại lệ Allow, mỗi dòng một đường dẫn, bắt đầu bằng /.
- Thêm Crawl-delay nếu cần và các URL sitemap.
- Tích ô "Chặn cả bot huấn luyện AI và bot tìm kiếm AI" nếu bạn muốn từ chối việc huấn luyện AI và tìm kiếm AI.
- Sao chép hoặc tải robots.txt về rồi tải lên thư mục gốc của website.
Ví dụ
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Khi nào nên dùng Tạo robots.txt
Dùng công cụ để ngăn bot lãng phí thời gian vào URL quản trị, giỏ hàng, tìm kiếm hay URL có tham số, chỉ cho bot biết sitemap, hoặc từ chối bot AI. robots.txt chỉ mang tính khuyến nghị: nó không ẩn trang và không gỡ URL đã được lập chỉ mục – hãy dùng noindex hoặc xác thực cho việc đó – và bot độc hại sẽ phớt lờ nó.
Tạo robots.txt hoạt động như thế nào
Công cụ viết một nhóm User-agent: * với các dòng Allow và Disallow của bạn (một dòng Disallow: trống khi không chặn gì, để nhóm vẫn hợp lệ), sau đó là nhóm tùy chọn liệt kê các user agent AI với Disallow: /, rồi đến các dòng Sitemap. Những dòng không bắt đầu bằng / hoặc * bị đánh dấu vì bot sẽ bỏ qua chúng. Crawl-delay chỉ được thêm khi là một con số.
Các Trường Hợp Sử Dụng Phổ Biến
- Chặn /admin/ và /cart/ nhưng cho phép phần còn lại của cửa hàng.
- Chặn toàn bộ website staging khỏi bot.
- Từ chối GPTBot, ClaudeBot và Google-Extended.
- Khai báo nhiều tệp sitemap.
Câu Hỏi Thường Gặp
Disallow có gỡ trang khỏi Google không?
Không. URL bị chặn vẫn có thể được lập chỉ mục nhờ liên kết, chỉ là không có nội dung. Hãy dùng thẻ meta noindex (và cho phép thu thập) để loại trang khỏi kết quả.
Google có tuân theo Crawl-delay không?
Không. Google bỏ qua nó; Bing và Yandex thì tuân theo.
Chặn Google-Extended có làm tôi biến mất khỏi Google Search không?
Không. Google-Extended chỉ kiểm soát việc dùng nội dung của bạn để huấn luyện Gemini và Vertex AI; Googlebot vẫn thu thập cho tìm kiếm.