本当に、私たちはなんと複雑な網を織っているのでしょう。世界人口の約 40% が、ニュース、エンターテイメント、コミュニケーション、その他無数の目的で Web を使用しています 。しかし、ログオンする人が増えても、実際にはオンラインに保存されているデータは少なくなってきています。それは、私たちが World Wide Web として知っているもののほんの一部だけが簡単にアクセスできるからです。
私たち全員が日常的に使用しているいわゆるサーフェス Web は、検索エンジンが検索してクエリに応じて提供できるデータで構成されています。しかし、観測者には氷山の一角しか見えないのと同じように、従来の検索エンジンは利用可能な情報のうち、わずか 0.03 パーセントしか認識しません 。
残りはどうですか？そうですね、その多くはいわゆるディープウェブに埋もれています。ディープ Web (アンダーネット、目に見えない Web、隠された Web などとも呼ばれます) は、単純な Google 検索では見つけられないデータで構成されています。
深層 Web が実際にどのくらいの大きさなのかは誰も知りませんが、表層 Web の数百倍 (おそらくは数千倍) もあります。このデータは必ずしも意図的に隠されているわけではありません。現在の検索エンジン技術では、それを見つけて理解するのは困難です。
深層ウェブには、より闇が深く、場合によってはより暗い裏側があるため、ダークウェブとしても知られています。ダークウェブでは、ユーザーは実際に意図的にデータを埋めます。多くの場合、Web のこれらの部分は、ダーク Web のタマネギのような層を剥がすのに役立つ特別なブラウザ ソフトウェアを使用した場合にのみアクセスできます。
このソフトウェアは、データの送信元と送信先の両方、およびデータにアクセスする人々のプライバシーを維持します。政治的反体制派も犯罪者も同様に、この種の匿名性はダーク ウェブの計り知れない力を示しており、世界中の権力者にとっては残念なことですが、合法的または違法に情報、商品、サービスの転送が可能になっています。
検索エンジンが Web の表面をなぞるだけであるのと同じように、私たちはまだ始まったばかりです。私たちのウェブが実際にどれほど複雑になっているかを知るために読み続けてください。
平地に隠された
深層 Web は表層 Web に比べて巨大です。今日の Web には 5 億 5,500 万を超えるドメインが登録されています。これらの各ドメインには数十、数百、さらには数千のサブページが含まれる場合があり、その多くはカタログ化されていないため、ディープ Web のカテゴリに分類されます。
確かなことは誰も知りませんが、深層 Web は表層 Web の 400 ～ 500 倍の大きさである可能性があります 。そして、サーフェス Web とディープ Web の両方が、日々大きくなっていきます。
なぜこれほど多くの情報が検索エンジンの目に留まらないのかを理解するには、検索テクノロジーについて少し知識を持っておくと役立ちます。詳細については、 「インターネット検索エンジンの仕組み」で読むことができますが、ここでは簡単に概要を説明します。
検索エンジンは通常、Web サイトやその他のオンライン リソースに保存されている情報を検索してデータのインデックスを作成します。このプロセスは、自動化されたスパイダーまたはクローラーを使用することを意味します。これは、クモ類がウェブの絹のような蔓をたどるように、ドメインを見つけて他のドメインへのハイパーリンクをたどります。ある意味、ウェブの広大なマップを作成します。
このインデックスまたはマップは、ニーズに関連する特定のデータを見つけるための鍵となります。キーワード検索を入力するたびに、そのインデックスのおかげで結果がほぼ瞬時に表示されます。これがなければ、誰かが情報を求めるたびに、検索エンジンは文字通り、何十億ページものページを最初から検索しなければならなくなり、そのプロセスは扱いにくく、うんざりするものになるでしょう。
しかし、検索エンジンは深層 Web に保存されたデータを確認できません。データの非互換性と技術的なハードルがあり、インデックス作成の取り組みを複雑にしています。プライベート Web サイトの中には、コンテンツにアクセスする前にログインパスワードを必要とするものがあります。クローラーは、単一の特定の Web サイトでキーワード検索を必要とするデータに侵入することはできません。特定の制限時間が経過すると、一般公開が許可されなくなる時間制限付きアクセス サイトがあります。
これらすべての課題とその他の多くの課題により、検索エンジンがデータを見つけてインデックスを付けることが非常に困難になります。読み続けて、サーフェス Web とディープ Web を分けるものについてさらに詳しく見てみましょう。
表面直下
すでに述べたように、何百万ものドメインに何百万ものサブページが点在しています。外部リンクのない内部ページ (internal.computerbasic.click など) があり、サイトのメンテナンスの目的で使用されます。未公開またはリストに掲載されていないブログ投稿、画像ギャラリー、ファイル ディレクトリ、検索エンジンでは見ることができない膨大な量のコンテンツがあります。
ここではほんの一例を示します。オンラインには独立した新聞社の Web サイトが多数あり、検索エンジンがそれらのサイトの記事のいくつかをインデックス化することがあります。これは、メディアの注目を集める重大なニュース記事に特に当てはまります。 Google で簡単に検索すると、たとえばワールド カップのサッカーチームに関する記事が何十件も見つかります。
ただし、より曖昧な記事を探している場合は、特定の新聞サイトに直接アクセスし、コンテンツを閲覧または検索して、探している記事を見つける必要がある場合があります。これは、ニュース記事が古くなるにつれて特に当てはまります。記事が古いほど、新聞のアーカイブにのみ保存される可能性が高く、表面の Web には表示されません。その後、その記事は検索エンジンにすぐには表示されなくなる可能性があるため、ディープ Web の一部としてカウントされます。
深い可能性
ディープ Web のデータは検索エンジンにとっては見えにくいですが、見えないことが重要ではないということではありません。新聞の例からもわかるように、ディープウェブに隠された情報には計り知れない価値があります。
深層 Web は、気が遠くなるような量の情報が無限に保存されるリポジトリです。工学データベース、あらゆる種類の財務情報、医学論文、写真、イラストなど、リストは基本的に永遠に続きます。
そして、ディープウェブはますます深く、より複雑になります。検索エンジンの有用性を高めるためには、検索エンジンのプログラマーが深層 Web に潜り込み、データを表面に表示する方法を見つけ出す必要があります。何らかの方法で、有効な情報を見つけるだけでなく、エンド ユーザーを圧倒することなく情報を提示する方法を見つけなければなりません。
ビジネス全般と同様に、検索エンジンは、あなたや私が世界で最高のアップルクリスプのレシピを見つけられるかどうかよりも重大な懸念を扱っています。彼らは、大企業が斬新で価値のある方法で深層 Web を見つけて利用できるよう支援したいと考えています。
たとえば、 建設技術者は、最新かつ最高の橋梁建設資材を見つけるために、複数の大学の研究論文を検索する可能性があります。医師は特定の疾患に関する最新の研究を迅速に見つけることができます。
可能性は無限大です。技術的な課題は困難を極めます。それが深層ウェブの魅力です。しかし、深層ウェブにはもっと不透明な側面もあります。それは、さまざまな理由で多くの人を悩ませています。
ダークネスフォールズ
深層 Web は未開発の可能性を秘めた影の土地かもしれませんが、少しのスキルと運があれば、多くの人々がアーカイブに取り組んだ多くの貴重な情報を明らかにすることができます。人々が意図的に情報を隠すダークウェブでは、照明を消したままにしておきたいと考えます。
ダークウェブはウェブの ID に似ています。プライベートなことです。匿名です。それは強力です。それは、良いことも悪いことも含め、人間の本性をあらゆる形で解き放ちます。
いつものように、悪いことが見出しのほとんどを占めます。ダークウェブを通じて、あらゆる種類の違法な商品や活動が見つかります。それには、違法薬物、児童ポルノ、盗まれたクレジット カード番号、人身売買、武器、珍しい動物、著作権で保護されたメディア、その他思いつく限りのあらゆるものが含まれます。理論的には、たとえば、嫌いな人を殺すために殺し屋を雇うこともできます。
しかし、Google 検索ではこの情報は見つかりません。この種の Web サイトでは、 The Onion Router (一般的にTorとして知られる) などの特別なソフトウェアを使用する必要があります。
Tor はブラウザにインストールされ、ダーク Web サイトにアクセスするために必要な特定の接続を設定するソフトウェアです。重要なのは、Tor はオンラインでの匿名性の維持に役立つ暗号化テクノロジーです。これは、世界中のサーバーを介して接続をルーティングすることで実現され、追跡が非常に困難になります。
Tor を使用すると、人々はいわゆる隠れたサービス、つまりダーク Web で悪名高いアンダーグラウンド Web サイトにアクセスできるようになります。これらの非表示のサイトでは、.com または .org で終わるドメインは表示されず、.onion で終わります。次のページでは、玉ねぎの層をいくつか剥がしていきます。
刺激的なトール
これらのタマネギ サイトの中で最も悪名高いのは、ユーザーが麻薬、銃、その他あらゆる種類の違法商品を購入できるオンライン マーケットプレイスである、現在は廃止されているシルク ロードでした。最終的に FBI はシルクロードを運営していたロス・ウルブリヒトを逮捕しましたが、Black Market Reloaded のような模倣サイトは今でも簡単に入手できます。
奇妙なことに、Tor は米国海軍研究所によって行われた研究の結果であり、政治的反体制派や内部告発者向けに Tor を作成し、彼らが報復を恐れることなく通信できるようにしました。
Tor はこれらのグループに匿名性を提供するのに非常に効果的だったので、犯罪を志向する人々もそれを使い始めるのに時間はかかりませんでした。
このため、米国の法執行機関は、足跡を隠すために政府支援のソフトウェアを使用している犯罪者を追跡しようとする皮肉な立場に置かれることになる。 Tor は両刃の剣であるように思えます。
ダークウェブでは匿名性が不可欠ですが、売り手と買い手がお互いを識別できない場合、金銭に関連した取引がどのように行われるのか不思議に思うかもしれません。そこでビットコインの登場です。
ビットコインについて聞いたことがない方のために説明すると、ビットコインは基本的に暗号化されたデジタル通貨です。詳細については、 「ビットコインのしくみ」をご覧ください。通常の現金と同様、ビットコインはあらゆる種類の取引に適しており、特に匿名性も可能です。違法かどうかにかかわらず、誰も購入を追跡することはできません。
ビットコインは未来の通貨、つまり単一政府の手綱から自由な分散型で規制されていないタイプの通貨になる可能性があります。しかし、ビットコインは政府の支援を受けていないため、その価値は大きく変動することがよくあります。人生の貯蓄を保管するのに安全な場所とは言えません。しかし、Tor と適切に組み合わせれば、Web 上で売買する最も確実な方法に最も近いものになるでしょう。
闇の明るい面
ダークウェブには不気味な含みがあります。しかし、ダークサイドのすべてが悪いわけではありません。必ずしも法律に違反するとは限らないあらゆる種類のサービスがあります。
ダーク ウェブには、代替検索エンジン、電子メールサービス、ファイル ストレージ、ファイル共有、ソーシャル メディア、チャット サイト、報道機関、内部告発サイトが存在し、また、政治的反体制派やその他の人々に安全な集会の場を提供するサイトも存在します。自分たちが社会の片隅にいることに気づくかもしれない。
NSA 型の監視が遍在し、プライバシーが過去のものになったかのように見える時代において、ダーク Web は匿名性を重視する人々にいくらかの安らぎを与えてくれます。ダークウェブ検索エンジンは、パーソナライズされた検索結果を提供しないかもしれませんが、オンラインでの行動を追跡したり、無限の広告ストリームを提供したりすることはありません。ビットコインは完全に安定しているわけではないかもしれませんが、クレジット カード会社が提供していないプライバシーを提供します。
暴力的または抑圧的な指導者がいる国に住む国民にとって、ダークウェブは同じ考えを持つ人々と通信するためのより安全な方法を提供します。断固とした当局が簡単に監視できる Facebook や Twitter とは異なり、ダーク Web は、政治家や大企業の支配者を悪口したり、弱体化させようと企んだりする人々に対して、より深いカバーとある程度の安全を提供します。
ルクセンブルク大学の研究者らが執筆した論文では、ダークウェブ上で最も頻繁にアクセスされる資料をランク付けすることを試みた。彼らが発見したのは、違法行為やアダルト コンテンツを取引するサイトが非常に人気がある一方で、人権や情報の自由を重視するサイトも同様に人気があるということでした。
ダークウェブには確かに醜い側面がありますが、大きな可能性も秘めています。
さらに深く
深層ウェブはさらに深くなるばかりです。人間の知識や些細なことの蓄積は日に日に膨大になり、そのすべてを理解しようとする私たちの努力は複雑になっています。結局のところ、それがおそらく私たちが生み出したインターネットの背後にある最大の課題です。
プログラマーは検索エンジンのアルゴリズムを改良し続け、Web のより深い層をより深く掘り下げることができるようになります。そうすることで、研究者と企業がこれまで不可能だった方法で情報を結び付け、相互参照できるようになります。
同時に、スマート検索エンジンの主な仕事は、単に情報を検索することではありません。本当にやりたいことは、最も関連性の高い情報を見つけることです。そうしないと、雑然としたデータの海に取り残され、検索ボタンをクリックしなければよかったと後悔することになります。
それがいわゆるビッグデータの問題です。ビッグ データは、管理不能で一貫性がなくなるほど大規模なデータ セットの名前です。インターネットが急速に成長しているため、世界中がデータで溢れかえり、Bing や Google の本社にある強力な全知全能のコンピューターであっても、そのすべてを理解するのは誰にとっても困難です。
インターネットが成長するにつれて、どの大企業も、自社の組織を機能し続けるため、また他社との競争上の優位性を獲得するために、データ管理と分析にますます多くの資金を費やしています。深層 Web のマイニングと整理は、これらの戦略の重要な部分です。このデータを独自の用途に活用することを学んだ企業は生き残り、おそらく新しいテクノロジーで世界を変えるでしょう。表面的な Web だけに依存する企業は競争できません。
それまでの間、深層ウェブはインターネットを使用するすべての人を困惑させ、魅了し続けるでしょう。そこには、他の情報と接続することで、私たちが技術的に、そして種として進化するのに役立つ可能性のある、魅惑的な量の知識が含まれています。そしてもちろん、人間の本性と同じように、その暗い側面も常に潜んでいます。深層ウェブは、インターネットだけでなく人類の計り知れない散在する可能性についても語っています。
著者のメモ: ディープウェブの仕組み
ディープウェブは曖昧で曖昧な場所です。しかし、この記事を調査しているうちに、少なくとも 1 つのことを確実に結論付けるのは簡単でした。ほとんどのニュースの見出しは、ダークウェブとその怪しげな側面をセンセーショナルに取り上げる傾向があり、深層ウェブの未開発の可能性についてはほとんど言及しません。違法薬物や武器に関する記事は、深層 Web からデータを収集するという技術的な課題を詳述する記事よりも明らかに多くの読者を惹きつけます。ネガティブで息も詰まるような記事は、割り引いて読んでください。深層ウェブには、明らかな犯罪要素以外にも、はるかに多くのものが存在することを覚えておく価値があります。エンジニアが Web のデータ ストアをカタログ化する、より適切で迅速な方法を見つければ、インターネット全体が驚くべき方法で社会を変革する可能性があります。
