【入門編】meta robotsによるクローリング制御 – HTML実践ガイド

Webサイトの「立ち入り禁止」と「案内板」:meta robotsでクローラーを上手に誘導しよう

Webサイトを作っていると、「検索結果に載せたいページ」と「逆に、こっそり隠しておきたいページ」が出てきますよね。

例えば、誰でも見てほしい「トップページ」や「ブログ記事」がある一方で、テストで作った中途半端なページや、会員専用の個人設定画面などは、世界中の検索エンジンに勝手に登録されてしまうと少し困りませんか?

そんな時、検索エンジンのロボット(クローラー)に対して「ここは入っていいよ」「ここは見ないでね」とお願いするための大切な司令塔が、今回紹介する `meta robots`(メタ・ロボッツ) です。

難しいことはありません。今日から使える「Webサイトの交通整理術」を一緒に見ていきましょう!

—

クローラーという「図書館の司書さん」を想像してみて

Webサイトを公開するということは、大きな図書館に自分の本を置くようなものです。そこへやってくる「クローラー」という名の司書さんが、あなたのページを読み込んで、検索エンジンの目録に登録してくれます。

この司書さんに、「この本(ページ)を棚に並べていいか?」「この本に書かれている次の本(リンク先)もチェックしていいか?」と指示を出すのが `meta robots` の役割です。

1. 基本の形はこれだけ!

HTMLの `` タグの中に、以下のような一行を書くだけでOKです。


  • index(インデックス): 「このページを検索結果の目録に載せてね!」
  • follow(フォロー): 「このページにあるリンク先も辿って、調べておいてね!」

基本的には、何もしなくてもWebサイトはこの設定になっています。「どんどん見つけてほしい!」というページには、これを書いておけば安心ですよ。

—

もし「隠したいページ」があるときは?

テスト中のページや、感謝のメッセージを表示するだけのページなど、「検索結果には出したくないな」という場面もありますよね。そんな時に使うのが `noindex` です。

検索結果から隠す:noindex

こう書くと、司書さんは「ふむふむ、このページは目録には載せないでおこう。でも、リンク先は見てあげようかな」と判断してくれます。

リンクすら辿らせない:nofollow

これは「もう、このページには関わらないで!」というかなり強い意思表示です。ページの登録もしないし、その先にどんなリンクがあっても追いかけないでね、という指示になります。

—

初学者がつまずきやすい「落とし穴」

ここで、現場でよくある失敗談をひとつ。

「検索結果に出したくないから、とりあえず `noindex` を設定しておこう!」と安易に考えてしまうと、実は「そのページへのリンクの価値(SEOパワー)」まで一緒に消してしまうことがあるんです。

  • index/follow: 通常のページ。検索エンジンに愛されたいならこれ。
  • noindex/follow: 検索結果には出さないけど、内部リンクを辿ってほしい時(例:キャンペーンのランディングページなど)。
  • noindex/nofollow: 完全に孤立させたい時。

「なんでもかんでも隠せばいい」というわけではないのが、Web制作の面白いところであり、奥が深いところですね。大丈夫、少しずつ使い分けていけば自然と身につきますよ!

—

最後に:robotsは「お願い」であること

ひとつだけ、心に留めておいてほしいことがあります。`meta robots` は、あくまで検索エンジンのロボットに対する「お願い(ガイドライン)」です。

これを書いたからといって、世界中の悪意あるアクセスが完全に遮断されるわけではありません。本当に見せたくない機密情報は、パスワードをかけたり、サーバー側でアクセス制限をかけたりする「物理的な鍵」をかけるのが一番です。

まずは、「検索エンジンにどう見られたいか?」をコントロールする最初の一歩として、このタグを味方につけてみてください。

あなたの作ったWebサイトが、必要な人にちゃんと届くように。今日書いたコードが、そのための小さな、でも確実な一歩になりますように!応援しています。

コメント

タイトルとURLをコピーしました