Robots.txtジェネレーター

検索エンジンやボットがサイトのページにアクセスする方法を制御するrobots.txtファイルを作成

すべてのボットに対するデフォルトルール(User-agent: *)

インデックスから除外するパス(1行に1つ) 明示的に許可するパス(任意)

クロール遅延(秒、任意) サイトマップURL(任意)

完成したrobots.txtファイルがここに表示されます…

バナーバナー