「自社のWebサイトを公開したのに、Googleの検索結果に表示されない」「新しい記事を投稿しても、なかなか検索エンジンに認識されない」このような悩みを抱えている方は少なくありません。
その原因の多くは、クローラーと呼ばれる検索エンジンのプログラムが、あなたのサイトをうまく巡回できていないことにあります。
クローラーは、インターネット上に存在する無数のWebサイトを自動で巡回し、情報を収集する重要な役割を担っています。
このプログラムに正しく情報を伝えられなければ、どれだけ質の高いコンテンツを作成しても、検索結果に表示されることはありません。
逆に言えば、クローラーの仕組みを理解し、適切な対策を施すことで、検索エンジンからの評価を大きく高めることができるのです。
本記事では、SEO対策の基礎となるクローラーの仕組みから、具体的な巡回対策まで、初心者の方にもわかりやすく解説していきます。
名古屋でWebコンサルティングを手がける株式会社エッコの知見も交えながら、実践的な情報をお届けしますので、ぜひ最後までお読みください。
目次
クローラーの基本知識
クローラーとは何か
検索エンジンの情報収集プログラム
クローラーとは、インターネット上のWebサイトを自動的に巡回し、ページの情報を収集する専用プログラムのことを指します。
英語の「crawl(這う、這い回る)」という言葉が語源となっており、まるで蜘蛛がクモの巣を這うように、リンクからリンクへと移動しながらWeb上の情報を集めていきます。
GoogleやBing、Yahoo!といった検索エンジンは、このクローラーが収集した膨大なデータをもとに、検索結果の表示順位を決定しています。
クローラーが巡回する行為を「クローリング」と呼び、これは24時間365日休むことなく続けられています。
新しく公開されたWebサイトや、更新された記事の情報は、このクローリングによって初めて検索エンジンに認識されることになります。
つまり、クローラーに発見されなければ、どれだけ優れたコンテンツを作成しても検索結果には表示されないという仕組みなのです。
ボット・スパイダー・ロボットとの関係
クローラーは、その動作の特徴や役割から、さまざまな呼び名で表現されることがあります。
「ボット(Bot)」という呼び方は、ロボット(Robot)の略称で、人間の操作なしに自動で動くプログラム全般を指す言葉です。
クローラーもこのボットの一種であり、特にWebサイトを巡回する目的に特化したボットと言えます。
「スパイダー」という呼び名は、クモの巣(Web)を這い回るクモ(Spider)に例えた表現です。
リンクという糸を辿って、次々とページを巡回していく様子が、まさにクモの動きに似ていることから名付けられました。
「ロボット」という呼び方も、自動化されたプログラムという意味合いで使われます。
これらはすべて同じクローラーを指す言葉であり、状況や文脈に応じて使い分けられているだけです。
どの呼び方を使っても、検索エンジンが情報を収集するための自動プログラムという本質は変わりません。
クローラーの別名と呼ばれ方
| 呼び名 | 由来・意味 | 使用される場面 |
| クローラー | 「這う」という意味の英語から | 一般的な呼称として最も多く使用される |
| ボット | ロボット(Robot)の略称 | 技術的な文脈やプログラミングの話題で使用 |
| スパイダー | クモがクモの巣を這う様子から | Web構造を強調する際に使用される |
| ロボット | 自動化されたプログラムという意味 | 初心者向けの説明や一般的な会話で使用 |
| Webクローラー | Webに特化したクローラーという意味 | Webサイトの巡回を明確にする際に使用 |
クローラーという用語は、業界や立場によって異なる呼び方がされることがあります。
Web担当者やマーケターは「クローラー」という呼び方を好む傾向にあり、エンジニアやプログラマーは「ボット」という表現を使うことが多いです。
SEOの専門家の間では、GoogleのクローラーであるGooglebotのように、検索エンジン名とボットを組み合わせた固有名詞で呼ばれることも一般的です。
また、古い文献やSEO関連の書籍では「スパイダー」という呼び方が使われていることもありますが、現在では「クローラー」が標準的な呼称となっています。
どの呼び方を使っても意味は同じですが、相手や状況に応じて適切な用語を選ぶことで、よりスムーズなコミュニケーションが可能になります。
クローリングとインデックスの違い
クローラーに関する用語として、「クローリング」と「インデックス」という2つの言葉がよく使われますが、これらはまったく異なる段階を指しています。
クローリングとは、クローラーがWebサイトを巡回し、ページの情報を読み取る行為そのものを指します。
本でたとえるなら、図書館の司書が新しく入荷した本を手に取り、タイトルや内容を確認している段階です。
一方、インデックスとは、クローリングで収集した情報を検索エンジンのデータベースに登録し、検索結果として表示できる状態にすることを意味します。
先ほどの例で言えば、司書が本の情報を目録カードに記入し、書棚に配架して、利用者が検索できるようにする作業に相当します。
クローリングされたからといって、必ずインデックスされるわけではありません。
低品質なコンテンツや重複したページ、技術的な問題があるページなどは、クローリングされてもインデックスされないケースがあります。
つまり、SEO対策においては、クローラーに巡回してもらうだけでなく、適切にインデックスされることまで考慮する必要があるのです。
検索エンジンの仕組みとクローラーの役割
クロール・インデックス・ランキングの3段階
検索エンジンがユーザーに検索結果を表示するまでには、3つの重要な段階を経ています。
第一段階は「クロール」で、クローラーがインターネット上のWebサイトを巡回し、ページの内容を読み取る作業です。
この段階では、HTMLコード、テキストコンテンツ、画像、動画、リンク構造など、ページに含まれるあらゆる情報が収集されます。
第二段階は「インデックス」で、クローリングで収集した情報を検索エンジンのデータベースに整理して保存する作業です。
ここでは、ページの内容が分析され、どんなキーワードに関連するページなのか、どんな情報を提供しているのかが判断されます。
第三段階は「ランキング」で、ユーザーが検索したキーワードに対して、最も関連性が高く有益なページから順番に表示する作業です。
Googleの場合、200以上の要素を考慮して検索順位を決定していると言われています。
この3段階のプロセスは連続して行われており、新しいページが公開されてから検索結果に表示されるまでには、通常数日から数週間かかります。
ただし、クローラビリティの高いサイトであれば、より迅速にインデックスされる傾向があります。
クローラーがWebサイトを発見する方法
外部リンクからの巡回
クローラーがWebサイトを発見する最も一般的な方法は、他のサイトに設置されたリンクを辿ることです。
すでにインデックスされているWebサイトのページをクローリングする際、そのページ内に別のサイトへのリンクがあれば、クローラーはそのリンクを辿って新しいサイトへと移動します。
これが「外部リンク」または「被リンク」と呼ばれるもので、SEO対策において非常に重要な要素の一つです。
特に、権威性の高いサイトや更新頻度の高いサイトからのリンクは、クローラーが辿りやすく、発見される確率が高まります。
新しくWebサイトを公開した際に、SNSで情報を拡散したり、関連するサイトに紹介してもらったりすることが推奨されるのは、この仕組みがあるためです。
ただし、低品質なサイトからの大量のリンクや、不自然なリンクの集め方は、逆にSEO評価を下げる原因となるため注意が必要です。
XMLサイトマップからの巡回
XMLサイトマップは、Webサイトの全ページのURLをリスト化したファイルで、クローラーに効率的にサイト構造を伝えることができます。
このファイルをGoogle Search ConsoleやBing Webmaster Toolsに登録することで、クローラーは外部リンクを待たずに直接サイトを訪問できるようになります。
XMLサイトマップには、各ページの最終更新日や更新頻度、優先度などの情報も記載できるため、クローラーにとって巡回の優先順位を判断する重要な手がかりとなります。
特に、サイト内のリンク構造が複雑な場合や、新しく大量のページを追加した場合には、XMLサイトマップの役割が大きくなります。
WordPressなどのCMSを使用している場合は、プラグインで自動的にXMLサイトマップを生成できるため、積極的に活用することをおすすめします。
株式会社エッコでは、クライアント企業のWebサイト制作時に、必ずXMLサイトマップの設定を行い、検索エンジンからの迅速な認識をサポートしています。
内部リンクによる巡回
一度クローラーがWebサイト内のあるページに到達すると、そのページ内に設置された内部リンクを辿って他のページも巡回していきます。
トップページから各カテゴリページへ、カテゴリページから個別の記事ページへというように、階層構造に沿って移動しながら情報を収集するのです。
このため、すべてのページが内部リンクでつながっていることが、クローラビリティの観点から非常に重要です。
孤立したページ(どこからもリンクされていないページ)は、XMLサイトマップに記載されていない限り、クローラーに発見されない可能性があります。
効果的な内部リンク構造を作るポイントは、トップページから3クリック以内ですべてのページにアクセスできる設計にすることです。
また、関連性の高いページ同士をリンクでつなぐことで、クローラーだけでなくユーザーにとっても回遊しやすいサイトになります。
主要なクローラーの種類
Googlebot(グーグルボット)
Googlebotは、世界最大の検索エンジンであるGoogleが運用するクローラーで、最も重要視すべきクローラーです。
日本国内の検索エンジンシェアは、Googleとその検索技術を使用するYahoo! JAPANを合わせると95%以上に達します。
Googlebotには、デスクトップ版とモバイル版の2種類があり、2019年からは「モバイルファーストインデックス」が採用されています。
これは、スマートフォン版のページを優先的に評価するという方針で、現在ではほとんどのサイトでモバイル版クローラーが主に使用されています。
Googlebotの巡回頻度は、サイトの更新頻度や品質、権威性などによって変動し、高品質なサイトほど頻繁にクローリングされる傾向があります。
また、画像専用の「Googlebot-Image」や、動画専用の「Googlebot-Video」など、コンテンツの種類に応じた専門クローラーも存在します。
日本でSEO対策を行う場合、Googlebotの特性を理解し、最適化することが最優先となります。
Bingbot(ビングボット)
Bingbotは、Microsoft社が運営する検索エンジンBingのクローラーです。
日本国内でのBingのシェアは数%程度ですが、海外では一定の利用者がおり、特にアメリカ市場では無視できない存在です。
BingbotはGooglebotと同様の役割を果たしますが、評価アルゴリズムや巡回の優先順位には違いがあります。
興味深いことに、Bingbotの方がGooglebotよりも頻繁にサイトを訪問するケースも報告されています。
また、Windows 10やWindows 11の標準ブラウザMicrosoft Edgeでは、Bingが標準検索エンジンとして設定されているため、今後シェアが拡大する可能性もあります。
Googleとは異なる視点でサイトを評価するため、GooglebotだけでなくBingbotにも対応した設計にすることで、より幅広いユーザーにリーチできます。
Google Search Consoleと同様に、Bing Webmaster Toolsも無料で提供されているため、余裕があれば併用することをおすすめします。
その他の検索エンジンのクローラー
| クローラー名 | 検索エンジン | 特徴 |
| Baiduspider | Baidu(百度) | 中国最大の検索エンジンのクローラー。中国市場を狙う場合に重要 |
| Yetibot | NAVER | 韓国最大の検索エンジンNAVERのクローラー。韓国市場向け |
| Yahoo Slurp | Yahoo!(海外版) | 日本以外のYahoo!で使用されるクローラー |
| DuckDuckBot | DuckDuckGo | プライバシー重視の検索エンジンのクローラー |
| Applebot | Apple | iOSのSiriやSpotlight検索で使用されるクローラー |
GoogleとBing以外にも、世界各国には地域特化型の検索エンジンが存在し、それぞれ独自のクローラーを運用しています。
中国市場を視野に入れる場合は、Baiduのクローラー「Baiduspider」への対応が必須となります。
BaiduはGoogleとは異なる検索アルゴリズムを採用しており、中国国内のサーバーにあるサイトを優先する傾向があります。
韓国市場では、NAVERのクローラー「Yetibot」が重要で、NAVERは独自のコンテンツ評価基準を持っています。
近年注目されているのが、Appleの「Applebot」で、SiriやSpotlight検索、App Storeの検索結果に影響を与えています。
グローバル展開を考えている企業は、ターゲット市場で主流の検索エンジンとそのクローラーの特性を把握しておく必要があります。
クローラビリティとは
クローラビリティの定義と重要性
クローラビリティとは、クローラーがWebサイトを巡回しやすい状態を指す概念です。
具体的には、クローラーがサイトを発見しやすく、ページ間を移動しやすく、コンテンツを理解しやすい構造になっているかどうかを示します。
優れたクローラビリティを持つサイトは、新しいページが公開されてからインデックスされるまでの時間が短く、検索結果への反映も迅速です。
逆に、クローラビリティの低いサイトは、どれだけ質の高いコンテンツを作成しても、検索エンジンに正しく評価されない可能性があります。
クローラビリティの重要性は、SEO対策の土台となる部分であり、ここが整っていなければ他の施策も効果を発揮しません。
建物にたとえるなら、クローラビリティは基礎工事のようなもので、しっかりした基礎なくして強固な建物は建たないのです。
Googleも公式に、クローラーがサイトを理解しやすい構造にすることの重要性を繰り返し強調しています。
クローラビリティが低いと起こる問題
クローラビリティが低い状態では、さまざまな問題が発生します。
最も深刻なのは、新規ページや更新したページがインデックスされない、または著しく遅延するという問題です。
せっかく時間をかけて作成したコンテンツが、数週間経っても検索結果に表示されないというケースも珍しくありません。
また、サイト内の一部のページだけがインデックスされ、他のページは無視されるという不完全なインデックス状態に陥ることもあります。
これは、内部リンク構造が適切でなかったり、クローラーがページにたどり着けなかったりすることが原因です。
さらに、古い情報がそのまま検索結果に表示され続けるという問題も発生します。
ページの内容を更新しても、クローラーが再訪問して新しい情報を収集するまでに時間がかかるため、ユーザーに誤った情報を届けてしまう可能性があります。
加えて、クローラーがサイト構造を正しく理解できないと、検索エンジンからの評価が不正確になり、本来の順位よりも低く表示されることもあります。
クローラビリティがSEOに与える影響
クローラビリティは、SEO成果に直結する重要な要素です。
まず、インデックスの速度と範囲に大きく影響します。
クローラビリティの高いサイトは、新しいコンテンツが迅速にインデックスされるため、競合他社よりも早く検索結果に表示されることができます。
特にニュース性の高いトピックや、トレンドに関連したコンテンツでは、数時間の差が大きなアクセス数の違いを生むこともあります。
次に、サイト全体の評価にも影響を与えます。
Googleは、技術的に優れたサイト、つまりクローラーが巡回しやすいサイトをユーザーフレンドリーなサイトとして評価する傾向があります。
さらに、クロールバジェット(一定期間内にクローラーが巡回できるページ数の上限)の効率的な使用にもつながります。
大規模なサイトでは、すべてのページを毎回クローリングすることは困難なため、重要なページに優先的にクロールしてもらう工夫が必要です。
株式会社エッコでは、クライアント企業のサイト診断時に、必ずクローラビリティのチェックを行い、改善点を具体的に提案しています。
クローラビリティを向上させる10の対策
XMLサイトマップの作成と送信
XMLサイトマップは、サイト内のすべてのページURLを一覧化したXML形式のファイルで、クローラーにサイト構造を効率的に伝えるツールです。
このファイルをGoogle Search Consoleに登録することで、外部リンクがなくても直接クローラーを誘導できます。
XMLサイトマップには、各ページの最終更新日(lastmod)、更新頻度(changefreq)、優先度(priority)などの情報を含めることができます。
特に、数百ページ以上の大規模サイトや、新しいページを頻繁に追加するサイトでは、XMLサイトマップが不可欠です。
作成方法としては、WordPressであれば「XML Sitemap Generator」などのプラグインを使用するのが簡単です。
静的サイトの場合は、オンラインのサイトマップ生成ツール(sitemap.xml Editorなど)を利用するか、手動で作成することになります。
作成したXMLサイトマップは、ルートディレクトリ(例:https://example.com/sitemap.xml)に設置し、robots.txtファイルにも記述することで、**クローラーが自動的に発見できる**ようにします。
Search Consoleでインデックス登録をリクエスト
Google Search Consoleの「URL検査」機能を使用すると、特定のページのインデックス登録を直接リクエストできます。
新しいページを公開した直後や、重要な更新を行った際に、この機能を活用することで、通常よりも早くクローラーを呼び込むことができます。
手順としては、Search Consoleにログイン後、上部の検索窓にインデックスしてほしいページのURLを入力します。
「URLがGoogleに登録されていません」と表示された場合は、「インデックス登録をリクエスト」ボタンをクリックすることで、優先的なクローリングを依頼できます。
ただし、この機能は1日あたりのリクエスト数に制限があるため、本当に重要なページに絞って使用することが推奨されます。
また、インデックス登録をリクエストしても、必ず即座にインデックスされるわけではなく、通常は数日から1週間程度かかることを理解しておく必要があります。
根本的なクローラビリティの改善なしに、この機能だけに頼ることは避け、サイト全体の最適化と併用することが重要です。
外部サイトからの被リンク獲得
被リンク(外部サイトからのリンク)は、クローラーがサイトを発見する最も自然な経路です。
権威性の高いサイトや、更新頻度の高いサイトからのリンクは、クローラーが頻繁に巡回するため、そこからのリンクを辿って自サイトも早期に発見されます。
被リンクを獲得する正当な方法としては、まず高品質なコンテンツを作成し、自然にリンクされる状況を作り出すことが基本です。
業界の専門家や影響力のある人物に価値を提供し、紹介してもらえるような関係を築くことも効果的です。
プレスリリースの配信、業界メディアへの寄稿、専門家としてのインタビュー記事などを通じて、正当な理由でリンクを獲得することが重要です。
SNSでの情報発信も、直接的な被リンクにはならない場合が多いですが、コンテンツの認知度を高め、結果的に被リンク獲得につながります。
ただし、低品質なサイトからの大量リンクや、金銭で購入したリンクは、Googleのガイドライン違反となり、ペナルティの対象となるため絶対に避けましょう。
内部リンク構造の最適化
内部リンクは、サイト内のページ同士をつなぐリンクで、クローラーの巡回経路を作る重要な要素です。
理想的な内部リンク構造は、トップページから3クリック以内ですべてのページにアクセスできる「浅い階層構造」です。
関連性の高いページ同士をリンクでつなぐことで、クローラーが効率的にサイト全体を巡回でき、各ページの関連性も検索エンジンに伝えることができます。
具体的な施策としては、記事本文中に関連記事へのテキストリンクを自然に挿入することが基本です。
サイドバーやフッターに「関連記事」「人気記事」などのリンク集を設置することも、クローラーの回遊性を高める効果があります。
パンくずリストやグローバルナビゲーションなどの共通要素も、すべてのページに内部リンクを張り巡らせる重要な役割を果たします。
注意点として、リンク切れ(404エラー)を作らないこと、不要なページへの過度なリンクは避けること、リンクテキスト(アンカーテキスト)にはリンク先の内容を適切に表す言葉を使うことが挙げられます。
ディレクトリ構造のシンプル化
ディレクトリ構造とは、URLの階層構造のことで、サイトの情報設計を表しています。
Googleは、階層が浅いページほど重要なコンテンツだと認識する傾向があるため、できるだけシンプルな構造にすることが推奨されます。
例えば、「example.com/category/subcategory/subsubcategory/article.html」のような深い階層よりも、「example.com/category/article.html」のような浅い階層の方が好ましいです。
理想的には、トップページから2〜3階層以内にすべてのコンテンツページを配置することを目指しましょう。
ディレクトリ構造を設計する際は、ユーザーにとって直感的でわかりやすい分類を心がけることが重要です。
カテゴリやサブカテゴリは本当に必要なものだけに絞り、無駄に細分化しないことがポイントです。
既存のサイトでディレクトリ構造を変更する場合は、適切な301リダイレクトを設定し、SEO評価を引き継ぐことを忘れないようにしましょう。
パンくずリストの設置
パンくずリストは、現在のページがサイト内のどの位置にあるかを示すナビゲーションで、「ホーム > カテゴリ > サブカテゴリ > 現在のページ」のような形式で表示されます。
この要素は、ユーザーがサイト構造を理解しやすくなるだけでなく、クローラーにもサイトの階層構造を明確に伝える役割を果たします。
パンくずリストに含まれるリンクは、クローラーが上位階層のページに簡単に移動できる経路となり、サイト全体の回遊性を高めます。
さらに、構造化データ(BreadcrumbList)を適切にマークアップすることで、検索結果にパンくずリストが表示される可能性があり、クリック率の向上にもつながります。
パンくずリストは通常、ページの上部、ヘッダーとコンテンツの間に配置することが一般的です。
実装方法としては、HTMLで記述した上に、JSON-LD形式で構造化データを追加することが推奨されています。
WordPressの場合は、多くのテーマで標準機能として実装されているか、「Breadcrumb NavXT」などのプラグインで簡単に設置できます。
URLの正規化と見直し
URLの正規化とは、同じコンテンツに複数のURLでアクセスできる状態を解消し、1つの正規URLに統一することです。
例えば、「www.example.com」と「example.com」、「http://」と「https://」のように、同じコンテンツなのに異なるURLが存在すると、クローラーはそれぞれを別ページとして認識してしまいます。
これは「重複コンテンツ」と見なされ、SEO評価が分散する原因となるため、早急に対処が必要です。
URLを正規化する方法としては、301リダイレクトで統一URLに転送するか、canonical タグで正規URLを指定する方法があります。
また、URLの見直しでは、わかりやすく短いURLを心がけることも重要です。
「example.com/blog/post?id=12345」のような動的URLよりも、「example.com/blog/seo-crawler」のような意味のある静的URLの方が、クローラーにもユーザーにも理解しやすくなります。
日本語URLは避け、英数字とハイフン(-)を使った簡潔な表現を選びましょう。
robots.txtファイルの適切な設定
robots.txtファイルは、クローラーに対してサイトのどの部分をクロールしてよいか、してはいけないかを指示するテキストファイルです。
サイトのルートディレクトリ(example.com/robots.txt)に設置することで、クローラーは最初にこのファイルを読み込み、指示に従います。
クロールが不要なページ(管理画面、会員専用ページ、テスト環境など)を指定することで、限られたクロールバジェットを重要なページに集中させることができます。
基本的な記述例としては、すべてのクローラーに対してサイト全体をクロール許可する場合は「User-agent: * / Allow: /」と記述します。
特定のディレクトリをブロックする場合は「Disallow: /admin/」のように記述します。
また、XMLサイトマップの場所を記述することで、クローラーがサイトマップを自動的に発見できるようにすることも重要です(例:Sitemap: https://example.com/sitemap.xml)。
注意点として、robots.txtでブロックしても完全にインデックスを防げるわけではないため、確実にインデックスを避けたいページにはnoindexタグを使用しましょう。
リンク切れページの削除と修正
リンク切れ(404エラー)は、クローラーの巡回を妨げる大きな障害となります。
クローラーがリンクを辿った先でエラーページに到達すると、そこから先に進めなくなり、本来クロールされるべきページが見落とされる可能性があります。
また、多数のリンク切れがあるサイトは、メンテナンスが行き届いていないと判断され、サイト全体の評価が下がる要因にもなります。
リンク切れの原因としては、ページの削除やURL変更、外部サイトのページ削除などが挙げられます。
定期的にリンク切れをチェックし、発見次第対処することが重要です。
チェック方法としては、Google Search Consoleの「カバレッジ」レポートで404エラーを確認するか、「Screaming Frog SEO Spider」などの専用ツールを使用する方法があります。
対処方法としては、削除したページへのリンクを削除するか、関連する代替ページへのリンクに変更することが基本です。
重要なページを削除した場合は、301リダイレクトで類似コンテンツのページに転送することで、リンクの価値を引き継ぐことができます。
ページ読み込み速度の改善
ページの読み込み速度は、クローラーの巡回効率に直接影響する要素です。
表示速度が遅いページは、クローラーが情報を収集するのに時間がかかるため、限られた時間内に巡回できるページ数が減少します。
Googleは、ページスピードをランキング要素として公式に認めており、特にモバイル検索では「Core Web Vitals」という指標で評価しています。
ページ速度を改善する具体的な方法としては、画像の最適化(適切なサイズへの縮小、WebP形式への変換)が最も効果的です。
不要なJavaScriptやCSSの削減、ブラウザキャッシュの活用、CDN(コンテンツデリバリーネットワーク)の導入も有効です。
サーバーのレスポンス速度も重要で、安価な共用サーバーよりも、高性能なVPSや専用サーバーを選択することで大幅に改善できます。
Google PageSpeed InsightsやGTmetrixなどの無料ツールで現状を分析し、具体的な改善項目を把握することから始めましょう。
株式会社エッコでは、サイトのパフォーマンス診断から、技術的な速度改善まで総合的にサポートしており、クライアント企業のSEO成果向上に貢献しています。
クローラーをブロックする方法
robots.txtでのクロール制御
robots.txtファイルを使用すると、クローラーに対してサイトの特定部分へのアクセスを制限できます。
すべてのページをクロールしてほしくない場合や、特定のディレクトリをクロール対象から除外したい場合に有効です。
例えば、管理画面(wp-admin)、会員専用ページ、検索結果ページなど、公開する必要がないページはクロールをブロックすることで、重要なページへのクロールバジェットを節約できます。
基本的な記述方法としては、「User-agent: *」で全てのクローラーを指定し、「Disallow: /admin/」でブロックしたいディレクトリを指定します。
特定のクローラーだけをブロックしたい場合は、「User-agent: Googlebot」のように個別に指定することも可能です。
ただし、robots.txtでブロックしても、他のサイトからリンクされている場合は、タイトルだけが検索結果に表示されることがあります。
完全にインデックスを防ぎたい場合は、次に説明するnoindexタグの使用が必要です。
metaタグでのインデックス制御
metaタグの「noindex」ディレクティブは、ページをクロールは許可するが、検索結果には表示させないという指示をクローラーに与えます。
HTMLの<head>セクション内に「<meta name=”robots” content=”noindex”>」と記述することで設定できます。
noindexは、低品質なコンテンツ、重複コンテンツ、一時的なページなど、検索結果に表示する必要がないページに使用します。
| メタタグ | 動作 | 使用場面 |
| noindex | 検索結果に表示しない | 低品質ページ、重複コンテンツ、プライベートページ |
| nofollow | ページ内のリンクを辿らない | 信頼できないサイトへのリンクがある場合 |
| noarchive | キャッシュを作成しない | 常に最新情報を表示したいページ |
| noindex,nofollow | 両方を適用 | 完全に検索エンジンから隠したいページ |
robots.txtとnoindexの使い分けですが、クロールもインデックスも不要なページはrobots.txt、クロールは必要だがインデックスは不要なページはnoindexを使用します。
例えば、サンクスページ(フォーム送信後の完了ページ)や、検索結果ページなどはnoindexが適切です。
WordPressの場合、Yoast SEOなどのプラグインを使用すると、管理画面から簡単にnoindex設定ができます。
適切なインデックス制御により、検索エンジンに評価してほしいページだけを効率的にインデックスさせることができます。
クロール状況の確認方法
Google Search Consoleでの確認手順
Google Search Consoleは、クローラーの巡回状況を詳しく確認できる無料ツールです。
まず、Search Consoleにログインし、左側のメニューから「設定」を選択し、「クロールの統計情報」セクションで「レポートを開く」をクリックします。
ここでは、過去90日間のクロールに関する重要な指標を確認できます。
「クロールリクエストの合計数」は、Googlebotがサイトを訪問した回数を示し、この数値が増加傾向にあれば、サイトの価値が高まっていると判断できます。
「合計ダウンロードサイズ」は、クローラーがダウンロードしたデータの総量で、ページ数が多いサイトや、画像の多いサイトでは大きくなります。
「平均応答時間」は、サーバーがリクエストに応答するまでの時間で、この数値が高い場合はサーバーパフォーマンスの改善が必要です。
また、「URL検査」機能では、特定のURLが正しくクロールされているか、インデックスされているかを個別に確認できます。
検査結果には、最後にクロールされた日時、クロールを許可したかどうか、インデックス登録の状態などが表示されます。
クロール頻度とクロールエラーの分析
クロール頻度は、サイトの更新頻度、コンテンツの品質、サーバーの応答速度などによって決まります。
高品質なコンテンツを定期的に更新しているサイトは、クローラーが頻繁に訪問する傾向があります。
逆に、長期間更新されていないサイトや、低品質なコンテンツが多いサイトは、クロール頻度が低下します。
Search Consoleの「カバレッジ」レポートでは、インデックスの状態別にページを分類して確認できます。
「エラー」カテゴリには、サーバーエラー(5xx)やリダイレクトエラーなど、クロールに失敗したページが表示されます。
「有効(警告あり)」には、インデックスはされているものの何らかの問題があるページが含まれます。
「有効」は正常にインデックスされているページ、「除外」は意図的に、または何らかの理由でインデックスされていないページです。
特に注意すべきは「エラー」カテゴリで、ここに表示されるページは早急に対処が必要です。
「除外」の中でも、「クロール済み – インデックス未登録」となっているページは、コンテンツの質を改善することでインデックスされる可能性があります。
定期的にこれらのレポートをチェックし、問題を早期に発見して対処することが、健全なクローリング状態を維持する鍵となります。
まとめ
クローラーは、検索エンジンがWebサイトの情報を収集する自動プログラムであり、SEO対策の根幹を成す重要な存在です。
クローラーの仕組みを正しく理解し、サイトのクローラビリティを高めることで、新しいコンテンツが迅速にインデックスされ、検索結果での評価向上につながります。
本記事で紹介した10の対策(XMLサイトマップ、Search Console活用、被リンク獲得、内部リンク最適化、ディレクトリ構造シンプル化、パンくずリスト、URL正規化、robots.txt設定、リンク切れ対処、ページ速度改善)は、いずれも実践的で効果の高い施策です。
すべてを一度に実施する必要はなく、まずは自社サイトの現状を把握し、優先度の高い項目から順番に取り組んでいくことをおすすめします。
特に、XMLサイトマップの設置とSearch Consoleへの登録は、すぐに実施できて効果も高い基本的な対策です。
クローラビリティの改善は、一度実施すれば終わりではなく、サイトの成長に合わせて継続的に最適化していくべき課題です。
定期的にSearch Consoleでクロール状況をチェックし、エラーが発生していないか、新しいページが適切にインデックスされているかを確認する習慣をつけましょう。
名古屋を拠点とする株式会社エッコでは、クローラビリティの診断から改善提案、技術的な実装支援まで、トータルなWebコンサルティングサービスを提供しています。
自社サイトのSEO対策でお困りの際は、専門家の知見を活用することも選択肢の一つです。
クローラーとの適切な付き合い方を理解し、検索エンジンから正しく評価されるサイト作りを目指していきましょう。
