Googleのヘルプ記事によると、サイトマップをGoogleが使用できるようにするには、次の2つの方法があると書かれています。
サイトマップを robots.txt ファイルに追加するか、Search Console に直接送信します。
公式 サイトマップの作成と送信
一体どのような違いがあるのでしょうか？
この記事では、サイトマップをSearch Consoleから送信と、robots.txtに追加するのでは何が違うのかについてお伝えします。
サイトマップをSearch Consoleから送信と、robots.txtに追加する違い
結論から先にいうと次のような違いがあります。
| Search Consoleから送信 | robots.txtに追加 | |
|---|---|---|
| 送信したサイトマップごとにURLのインデックス状況を調べる | 可能 | 不可能 |
| サイトマップのステータスを確認してエラーを発見 | 可能 | 不可能 |
| 最終読み込み日時を把握 | 可能 | 不可能 |
| Google以外の検索エンジン | サポートしていない | サポートしている |
どちらも、一度登録すればGooglebotは定期的に訪問します。
Search Consoleからサイトマップを送信
次のような特徴があります。
- 送信したサイトマップごとにURLのインデックス状況を調べることが可能
- サイトマップのステータスを確認できるので、エラーを発見しやすい
- 最終読み込み日時を把握できる
- Google以外の検索エンジンをサポートしていない
- 一度登録すればGooglebotは定期的に訪問する
送信したサイトマップごとにURLのインデックス状況を詳細に調べることが可能
インデックスカバレッジレポートでは、送信したサイトマップごとにインデックスの状況を詳細に確認できます。
特に中規模・大規模サイトを運営されている方は、カテゴリやディレクトリごとにサイトマップを登録しておくことで問題発見や分析が捗るので、サイトマップを分けている方もいると思います。
また、インデックスカバレッジレポートでダウンロードできるデータの上限は上位1000件なので、大規模サイトの場合、1000件のデータはすぐにいっぱいになってしまいます。大規模サイトの場合は、ディレクトリごとにSearch Consoleのプロパティを登録することで、URLの総数を減らしている方もいると思います。この場合もディレクトリごとにサイトマップを送信します。
サイトマップのステータスを確認できるので、エラーを発見しやすい
エラーが出るとサイトマップレポートに報告されます。
エラーの一覧については、Googleのヘルプページをご覧ください。
最終読み込み日時を把握できる
サイトマップへの最終読み込み日時を確認することが可能です。
Google以外の検索エンジンをサポートしていない
Search Consoleから追加するので当然ですよね。
一度登録すればGooglebotは定期的に訪問する
サイトマップを一度登録すれば、Googlebotは定期的にクロールします。
サイトマップをrobots.txtに追加
サイトマップをrobots.txtに追加する場合は、Search Consoleからサイトマップを送信した時とは異なります。
- 送信したサイトマップごとに、URLのインデックス状況を詳細に調べる→不可能
- サイトマップのステータスを確認してエラーを発見→不可能
- 最終読み込み日時を把握→できない
※robots.txtテスターを使えば、最新バージョンの日時を確認できますが、最終読み込み日時とは異なります。
サイトマップをrobots.txtに追加する特徴もお伝えします。
Google以外の検索エンジンに対しても有効
サイトマップをrobots.txtに追加すると、他の検索エンジンに対しても有効に働きます。
例えば、Bingなどの他の検索エンジンの管理画面からサイトマップをファイルを送信しなくてもサイトマップの存在を知らせることができます。
どちらもやっておいた方が良い
個人的には、どちらもやっておいた方が良いのではと思います。両方に対応することで次のようになります。
- 送信したサイトマップごとにURLのインデックス状況を調べることが可能
- サイトマップのステータスを確認できるので、エラーを発見しやすい
- 最終読み込み日時を把握できる
- Google以外の検索エンジンにサイトマップを伝えることができる
- 一度登録すればGooglebotは定期的に訪問する
クロールの頻度は？
どちらも変わらないと思われます。
ちなみにrobots.txtへのクロールの頻度は、GoogleのJohn Mueller氏によると、robots.txtを1日に1回チェックする（1日2回以上の場合もある）とのことです。
USのウェブマスターヘルプコミュニティで回答しています。
公式フォーラム Robots.txt Paradox in Webmaster Tools
さいごに
サイトマップをSearch Consoleから送信と、robots.txtに追加するのでは何が違うのかについてお伝えしました。
違いは次のようになります。
| Search Consoleから送信 | robots.txtに追加 | |
|---|---|---|
| 送信したサイトマップごとにURLのインデックス状況を調べる | 可能 | 不可能 |
| サイトマップのステータスを確認してエラーを発見 | 可能 | 不可能 |
| 最終読み込み日時を把握 | 可能 | 不可能 |
| Google以外の検索エンジン | サポートしていない | サポートしている |
どちらも、一度登録すればGooglebotは定期的に訪問するのは同じです。
ナレッジ