はじめに
初投稿です。よろしくおねがいします。
突然ですが皆さんは深層Webという言葉を聞いたことがあるでしょうか。おそらく聞いたことのある人にとっては「やばいもの」、「常人には理解できない動画の溜まり場」という印象があると思いますが、一般的には__WorldWideWeb(WWW)にある情報のうち、通常の検索でヒットされることのないもの__のことを指します。要するに会員制のページとか社内ツールなんかもすべて深層Webということですね。
そんな深層Webですが、実は__HTMLにたった一行コードを追加するだけで簡単に作成することが可能__です。今回はその方法についていい感じに説明していこうと思います。
その前にちょっと前ふり
深層Webの作り方について説明する前に、まずは検索エンジン(ここではGoogleを例とする)がどうやって情報を収集しているのかについて掘り下げて見ましょう。
一般的に検索エンジンはデータを収集する際、__クローラー__というプログラムを用いています。検索エンジンにおけるクローラーはWWWを巡回し、未知の情報を見つけたらそれをデータベースに登録、既知の情報が存在しないことを確認したらそれをデータベースから削除という処理を常に行っており、これによって膨大な量の情報を管理しています。
その後、検索エンジンはクローラーを用いて得た情報に対して査定を行います。査定の基準については本記事では省略しますが、それによって高い評価を得たページほど優先されて検索結果に表示されるという仕組みになっています。まとめると、
- クローラーを用いてWWWを巡回
- 巡回によって得た情報を基にデータベースを更新
- 情報に対して査定を行い、評価の高いページを優先的に検索結果に表示
という3ステップによって検索エンジンの動作は成り立っています。
本題
検索エンジンの仕組みについて理解したところで、いよいよ本題に入っていきます。
とはいっても深層Webを作成する方法はいたって簡単で、HTMLの<head>~</head>内に以下のようなタグを追加するだけです。
<head>
~~~中略~~~
<meta name="robots" content="noindex,nofollow">
~~~中略~~~
</head>
この中でも重要なcontent内のnoindex,nofollowについて解説していきます。
解説1
noindexタグは、__前述の検索エンジンの仕組みを2番目の段階で打ち止めにする__効果があります。2番目の段階で打ち止めにされるということは、3番目に行われるはずのページの査定が行われなくなり、結果として検索結果への表示を防ぐことができます。なお、noindexタグのついたページは検索エンジンからの評価の対象外になるだけで__クローラーからの巡回そのものの対象外になるわけではない__ということに注意してください。
解説2
nofollowタグはどちらかというとSEO対策に用いることが本来の使い方ですが一応解説します。
例えば、"noindexタグのついたページAとnoindexタグのついていないページBがあり、ページBは内部でページAを引用している"と仮定します。このとき、ページBが検索エンジンから低い評価を受けてしまうと、__巻き添えでページAも低い評価を受けてしまう__ことがあります。ここで対策として用いられるのがnofollowタグであり、引用先に指定したページの評価による影響をなくすことができます。
#最後に
不適切な箇所などがあればどうか許してくださいコメント等で指摘をお願いします。