什麼是Robots.txt產生器？

產生格式正確的robots.txt檔案，控制搜尋引擎爬蟲對網站的存取方式。可新增User-Agent規則、設定允許/禁止路徑、指定爬取延遲和網站地圖參照，無需手動撰寫檔案。

使用方法

1. 新增User-Agent規則（如Googlebot、Bingbot或*代表全部），並指定允許或禁止存取的路徑。
2. 可選擇設定爬取延遲並新增網站地圖URL。
3. 複製或下載產生的robots.txt檔案，上傳到網站根目錄即可。

結果

建立規則允許所有爬蟲存取網站，但封鎖/admin/和/api/路徑，並宣告網站地圖位址為https://example.com/sitemap.xml。

相關工具