深層Web(deep web、ディープウェブ)とは、通常の検索でヒットしないインターネット上の各種情報のことを指す。
アングラサイトや地下サイトのことを指す言葉だと誤解されている場合もあるが、後述するように特にアングラ性の無いサイトなども含む概念である。
概要
インターネット上に存在しているにもかかわらず、GoogleやYahoo!などの一般的なウェブ検索エンジンからはアクセスできないもの全般を言う。
元は英語の用語「deep web」であり、「深層ウェブ」はその和訳である。これに対して検索エンジンで検索/アクセス可能なウェブを「surface web」、訳して「表層ウェブ」などと呼ぶ。
検索エンジンからアクセスできない理由はさまざまである。アクセスにログインを要求するサイトや、動的URLを用いており検索エンジンが対応できないサイト、単に検索エンジンの巡回・インデックスを断るメタタグを付加しているだけのサイトなども含まれる。
たとえばniconicoのサービスで言えば、ニコニコミュニティの掲示板はそのコミュニティに入会しなければ閲覧できない仕様であるため、検索エンジンも巡回しない。この掲示板部分は深層ウェブであるという事になる。
深層ウェブには膨大な情報量を有するサイトも少なくなく、インターネット全体のうちかなりの部分を占めていると推測されている。例えば学術データベースや学術論文や新聞記事アーカイブなど、様々なアーカイブ/データベースの多くもアクセスに会員ログインが必要なものが多く、深層ウェブの範疇に入る。
「表層ウェブはインターネット全体の1%にすぎない」[1]、つまりインターネット全体の99%以上が深層ウェブであるとすら言われる。しかし深層ウェブは「検索エンジンからアクセスできない」という定義から「見つけにくい」存在でもあるため、その構成比率を正確に推測することは困難である。
「deep web」という言葉の発祥は、Michael K. Bergmanが自らが所属するBrightPlanet社のウェブサイトで発表した文献「The Deep Web: Surfacing Hidden Value.」である。
当時のURL(http://www.completeplanet.com/Tutorials/DeepWeb/index.asp)は既に閲覧不能となっているが、再編集されたバージョンがBrightPlanet社のウェブサイト内にてPDF形式で公開されている(下記「関連リンク」参照)。
いわゆるアングラサイト、非合法や違法であるモノ、例えば、違法ドラッグであったり、銃火器であったり、性的なもの、はたまた権利関係に反するもの(無料でアニメや漫画を見れるなど)を扱うサイトのことだという誤解も広まっている。このニコニコ大百科の記事も初版ではそういった誤解を元にした内容であった。
確かにそのような違法性の高いサイトの多くは摘発を免れるために一般的な検索サイトからはアクセスできないようにしていると思われ、「深層ウェブ」の一部ではある。だが逆に言うとごく一部でしかないため、「深層ウェブ=アングラサイト」という理解は誤っている。そういった違法性の高いサイトについては、「dark web」(ダークウェブ)という別の用語がある。
関連リンク
- The Deep Web: Surfacing Hidden Value - BrightPlanet (「deep web」という用語の起源となっている文献)
- 知っておくべき"ディープWeb"の存在 - インターネットに広がる巨大な深層 | マイナビニュース
関連項目
脚注
- *「そして、注目したいのは、サーフェイスWebは、インターネット全体の1%にすぎないという報告である。」 知っておくべき"ディープWeb"の存在 - インターネットに広がる巨大な深層 | マイナビニュースより
- 18
- 0pt