この記事の内容
  1. 変更したい目的を一行で書く
  2. 代表URLとルールの対応を残す
  3. 必要な素材が止まる場合を再現する
  4. noindexを読めない組み合わせを避ける
  5. 無料の確認と継続監査の費用を分ける
  6. ルールと再確認結果を引き継ぐ

変更したい目的を一行で書く

たとえば公開料金ガイドが取得できない問題と、管理画面を他人へ見せたくない問題では対処が違います。前者は公開本文や必要な素材への巡回を確認し、後者は認証やアクセス権を確認します。検索結果へ出さないことが目的なら、noindexなどの公式の方法も照合します。robots.txtへ追加すれば全部解決するという依頼にはせず、対象URL、期待する閲覧条件、検索側で望む扱いを分けて書いてください。運用上の負荷を減らす目的も、重要な説明を発見してもらう目的もあり得ます。誰のどの取得を変えるのかを決めることで、サイト全体への広い指定を反射的に追加することを避けられます。

代表URLとルールの対応を残す

現在のrobots.txtと変更案を保存し、対象ホスト、パス、対象クローラーを確認します。公開記事、素材、補助URL、管理領域から代表例を選び、どれが許可されるべきかを表にします。似た名前のパスを一括で指定すると、必要な料金記事やJavaScript素材まで対象になる場合があるため、文字列の見た目だけで決めません。リダイレクトやCDNなどで別ホストへ移る素材も、実際の取得先を確認します。設定を変更する人と公開環境を管理する人が違うなら、どのファイルをいつ反映するかも合意してください。古い環境だけを確認して、本番の公開範囲が直ったと報告しないようにします。

必要な素材が止まる場合を再現する

仮に製品の説明を表示するJavaScriptが取得できないなら、HTMLの応答が正常でも本文が欠ける可能性があります。本文、必要な素材のURL、取得の失敗を一緒に残し、素材が本当に表示へ必要かを開発担当へ確認します。Googleはページの理解に必要な素材を妨げないよう案内していますが、すべての素材を公開すればよいという意味ではありません。公開ページに必要な資産と、内部のデータや認証された操作は分けます。修正案は一つの代表ページで試し、正常な表示と不要なアクセスの両方を確認してください。この例は検証手順であり、現在のサイトに同じ不具合があるという診断ではありません。

noindexを読めない組み合わせを避ける

検索対象にしないページへnoindexを置いても、そのページ自体の取得をrobots.txtで止めると、指示を読めない場合があります。また巡回を止めたURLが別ページから参照され、URLだけ検索に出る可能性も公式資料は説明しています。検索除外を目的とする場合は、それぞれの役割を混ぜず、現在の公式手順と対象ページの応答を確認します。公開を続ける補助ページと秘密の資料も同じ扱いにはしません。機密情報には認証など別の保護が必要です。ルールを広げたり外したりする前に、サイト管理者へ期待する閲覧と検索の状態を示し、変更によって何が確認できるようになるかを明確にしてください。

無料の確認と継続監査の費用を分ける

少数URLの手動確認で目的を達成できることもあります。専用クローラーを使うなら、必要な設定、保存、素材取得、対象範囲が選択版に含まれるかを確認します。無料上限へ収めるために重要な例外を外すと、設定の危険な影響を見落とす場合があります。実行負荷と担当者の解釈も費用へ含め、警告件数だけで上位契約を選ばないでください。複雑なルールを継続管理する場合は、修正のたびに同じ代表例を確認する作業を予定へ入れます。別ツールの導入より、公開する人と確認する人が同じ条件表を使えることが先に役立つ場合もあります。

ルールと再確認結果を引き継ぐ

反映前後のファイル、公開日、担当者、代表URL、期待値、実際の取得結果を残します。公開本文、必要な素材、検索除外したいページ、認証された管理領域をそれぞれ再確認し、一つの成功を全領域へ一般化しません。Google側の扱いを調べる権限がある場合は、それも別の確認として記録します。担当交代や監査ツールの移行では、出力一覧だけでなく、なぜそのルールと例外があるのかを渡します。旧ツールを止める前に必要な記録を保存できる形式を確かめてください。取得できなかった状態は正常とせず、未確認のまま担当と次の作業を残すことで、再び広い設定を追加してしまう事態を防ぎます。

参照した公式情報

料金・提供条件・対応範囲は変更されることがあります。契約前に、下記の公式ページでご確認ください。

比較方針を読む広告について