robots.txt 生成ツール

1. ツール概要

基本紹介

Gotokit の robots.txt 生成ツールは、ブラウザ上で動作し、ログイン不要、完全無料で使える可視化ルール作成ツールです。RFC 9309 Robots Exclusion Protocol に沿っており、個人サイト、独立系サイト、静的ブログ、EC サイト、Astro などの静的構成サイト向けに設計されています。

主な機能：

• User-agent を視覚的に選択
• クロール許可・禁止ルールを作成
• リアルタイム構文チェック
• robots.txt のコピーとダウンロード
• 視覚モードとテキストモードの切り替え

初心者はコードを書かずに使え、上級者は直接テキスト編集もできます。

先に知っておきたい基本概念

robots.txt とは

robots.txt はサイトのルートに置くテキストファイルで、通常は次の場所にあります。

https://あなたのドメイン/robots.txt

これは検索エンジンなどの準拠クローラに対して、「どの領域をクロールしてよいか、どの領域を避けるべきか」を伝えるためのファイルです。

プロトコルの動き

一般的な検索エンジンクローラは、最初に robots.txt を読み、そこで一致した User-agent の Allow / Disallow ルールを適用します。

ただし：

• 主要検索エンジンや一般的な SEO クローラは通常これに従います
• 悪意あるスクレイパーは従わない場合があります

クロールとインデックスは別物

• robots.txt はクロール制御
• noindex はインデックス制御

検索結果にページを出したくない場合は、通常 noindex を併用する必要があります。robots.txt だけでは不十分なことがあります。

ローカル処理

解析、検証、生成はすべてブラウザ内で行われます。ドメインやルール内容はサーバーへ送信されません。

2. 上部ナビゲーションの意味

ホーム / すべてのツール / プログラミング開発

• ホーム：Gotokit トップページへ戻ります
• すべてのツール：全ツール一覧を開きます
• プログラミング開発：このツールが属するカテゴリです

3. 画面構成の詳細解説

モジュール 1：導入エリア

• タイトル：🤖 robots.txt 生成ツール
• 補足説明：Gotokit のツールはダウンロード不要・ログイン不要で使えることを案内

ここでは、無料・即時利用可能であることを明確に伝えています。

モジュール 2：テンプレートのクイック適用

テンプレートは初期設定を素早く入れるためのものです。

一般サイトテンプレート

向いているサイト：

• 企業サイト
• 情報サイト
• 一般的なコンテンツサイト

典型的な内容：

• 主要クローラを許可
• /admin/、/private/、/tmp/ などをブロック
• Sitemap 記述の余地を残す

静的ブログ / ツールサイトテンプレート

向いているサイト：

• Astro
• VitePress
• Hugo
• ツールまとめサイト

典型的な内容：

• 画像・動画クローラを許可
• /draft/ をブロック
• /preview/ をブロック
• /api/internal/ をブロック
• /assets/ の公開リソースは基本的に遮断しない

EC サイトテンプレート

向いているサイト：

• オンラインショップ
• 越境 EC
• 商品カタログ中心のサイト

典型的な内容：

• カート、決済、会員ページ、絞り込みページをブロック
• 公開商品ページは許可
• パラメータ重複による SEO ノイズを減らす
• 複数 Sitemap にも対応しやすい構成

全ブロックテンプレート

向いているサイト：

• テスト環境
• 社内デモ
• 未公開サイト

例：

User-agent: *
Disallow: /

サイト全体のクロールを止めます。本番公開後に長期間使うのは推奨されません。

モジュール 3：サイト基本設定

ここには「サイト URL」と「Sitemap URL」の 2 項目があります。

サイト URL

役割：

• メインドメインの正規化
• Sitemap の自動補完
• 最終的な robots.txt 本文には直接書き込まれない

例：

https://demo.com

Sitemap URL

役割：

• Sitemap: 行を生成
• 検索エンジンにページ発見を促す

ルール：

• 完全な絶対 URL を入力
• 複数ある場合は改行で分ける
• 空欄なら Sitemap: 行は出力されない

モジュール 4：グローバル切り替え

すべてのクローラを許可

次のような基本設定になります。

User-agent: *
Disallow:

空の Disallow は、デフォルトでブロックしないことを意味します。

すべてのクローラを拒否

次のような基本設定になります。

User-agent: *
Disallow: /

準拠クローラに対してサイト全体を閉じる設定です。

モジュール 5：リアルタイムプレビュー操作

コピー

生成済み robots.txt をクリップボードへコピーします。

ダウンロード

robots.txt という名前でファイル保存します。

リセット

入力値、プレビュー、検証状態を初期化します。

モジュール 6：構文チェック欄

現在の設定がそのまま使えそうかを確認するエリアです。

有効

通常は次を意味します。

• User-agent の重複がない
• 明確な競合がない
• Sitemap URL が正しい形式

よくある警告・エラー

• 同じ User-agent の重複定義
• / で始まらないパス
• http / https のない Sitemap
• 広い Disallow と詳細な Allow の衝突

モジュール 7：編集モード

視覚モード

初心者向けの推奨モードです。

• クローラを選ぶ
• Allow / Disallow を選ぶ
• パスを入力する

これだけで最終テキストが自動生成されます。

テキストモード

上級者向けモードです。robots.txt を直接手書きしたい場合に使います。

向いている場面：

• 複雑なルールセット
• カスタムクローラの追加
• 手動で細かく制御したい場合

モジュール 8：クローラとパスルールの中心設定

8.1 ルールグループとは

各グループは、そのグループ内で選択した User-agent にだけ適用されます。

例：

• グループ 1：全クローラ共通ルール
• グループ 2：AhrefsBot 専用の追加制限

8.2 グループ追加 / グループ複製

グループ追加：

• 独立したルールブロックを作成

グループ複製：

• 現在のグループ内容をそのままコピー
• 少しだけ変更したい時に便利

8.3 プリセットクローラ一覧

すべてのクローラ (*)

• User-agent: * に対応
• すべての準拠クローラへ適用

Googlebot

• Google 検索の主要クローラ

Googlebot-Image

• Google 画像検索用クローラ

Googlebot-Video

• Google 動画検索用クローラ

Bingbot

• Bing の主要クローラ

DuckDuckBot

• DuckDuckGo のクローラ

AhrefsBot

• Ahrefs の SEO クローラ
• 負荷対策でブロックされることも多い

SemrushBot

• Semrush の SEO クローラ

YandexBot

• Yandex の主要クローラ

Baiduspider

• 百度の主要クローラ

8.4 カスタム User-agent

プリセットにないクローラを手動追加できます。

例：

• Applebot
• GPTBot
• CCBot
• facebookexternalhit

8.5 パスルール設定

Allow：

• 指定パスのクロールを明示的に許可

Disallow：

• 指定パスのクロールを明示的に拒否

ルール：

• / で始める
• ディレクトリでも単一ページでも可

例：

• /admin/
• /private.html

8.6 クイックパスの意味

/assets/

• 画像、CSS、JS、フォントなどの静的リソース

/admin/

• 管理画面。通常はブロック推奨

/preview/

• プレビューや下書き表示

/tmp/

• 一時ファイルやキャッシュ

/api/internal/

• 内部 API

/search/draft/

• 下書きや未公開コンテンツ

/private/

• 非公開・会員専用・内部向けコンテンツ

4. 推奨ワークフロー

1. サイトに近いテンプレートを選ぶ
2. サイト URL と Sitemap URL を入力する
3. 初期状態を公開寄りにするか、遮断寄りにするか決める
4. 必要なルールグループを作る
5. リアルタイムプレビューを確認する
6. 構文チェックを確認する
7. ファイルをコピーまたは保存し、サイトルートへ配置する

5. 重要な補足

• 生成される robots.txt の内容自体はページ言語に依存しません
• すべてブラウザ内で処理されます
• robots.txt はクロール制御であり、完全な noindex を保証するものではありません

---

最終更新：2026-08-01