検索エンジンの評価を避けたいページは、「NoIndexタグ」もしくは「robots.txt」を設定できている
自社サイトのすべてのページが、検索エンジンに有益なコンテンツであると評価されるのは、実際には難しいのではないでしょうか。場合によってはむしろ、Googleのクローラーに認識/評価（＝インデックス）して欲しくないページというのも存在すると思います。
基本的にはすべてのページを検索エンジンにクローリングさせて、有益かどうかを評価してもらうのが望ましいと思いますが、以下に該当するようなページであれば「NoIndexタグ」もしくは「robots.txt」を使用して、クローラーを制御するのも良いと思います。
- 他のページと、コンテンツが重複・類似するページ
- 情報ボリュームが少ないなどで評価が高くなりづらいページ
- 404などのエラーページ、サイトマップなど
クローラーを制御する方法としては、おもに2つの方法がありますが、この記事では比較的実行しやすい「NoIndexタグ」について主に説明します。
- NoIndexタグ：ページをGoogleがクロールした後に、評価しないようにする
- robot.txt：ページを、Googleがクロール自体できないようにする
作業手順
ページのHTMLファイルに「NoIndexタグ」が設定されているか確認する
自社サイトに、NoIndexタグが入っていないかをまずチェックします。下記の無料ツールの空欄ボックスに該当URLを入力すれば、簡単にNoIndexタグが入っていないかどうかを調べることができるので、使用してみましょう。
参考サイト：noindexありなしチェッカー
クローラー制御のために、「Noindexタグ」もしくは「robot.txt」を設定
検索エンジンにクローリングされること自体は良いが、いったん評価は外したいというページであれば、「NoIndexタグ」を設定しましょう。このタグを設定するには、該当するページのHTMLファイルのなかのheadタグ部分に、下記のようにタグを挿入することで実行できます。
ちなみに、クローリング自体を禁止したい場合は、該当ページのHTMLファイルへのタグ記述ではなく、ドメイン直下（ルートディレクトリ）に以下のスクリプト記述をした「robots.txt」というテキストファイルを設置することで可能となります。
/XXXXX.htmlのところには、該当ページのディレクトリを記述します。
ファイルの設置位置サイトのルートディレクトリ（最上位）に設置します。
別ルートに設置した場合、Googleクローラーが正しくアクセスできずrobot.txtの記述が無効になります。
こちらの場合は、Webサーバーにtxtファイルをアップロードするなど専門的な知識が必要となりますので、実行するときはエンジニア・プログラマーに相談した方が良いでしょう。
このように、検索エンジンに評価させたいページをコントロールできるという意味では「NoIndexタグ」は大変便利ですが、あまりに乱用をしてしまうとサイト流入にも影響してしまうため、できるだけ最低限にとどめましょう。
まとめ
1つでも当てはまったらチェックしましょう。
- ページのHTMLファイルに「NoIndexタグ」が設定されているか確認できた
- クローラー制御のために、「Noindexタグ」もしくは「robot.txt」を設定できた
月間のお問い合せを
「10件、20件、それ以上」増やせます
せっかくあるWebサイトを、マーケティングの魔法で活用しませんか？
弊社では
「月に3社様限定」
で、
専門コンサルタント（経験10年以上）による無料診断を行っております。
たった1時間で「競合に勝つ方法がわかった！」
そう思っていただける会にしたいと考えております。
今よりもっと、お問合せを増やしましょう！！
