クローキングとは？

Web 上でコンテンツを見つけてもらうための最良の方法の 1 つは、検索エンジンを使用することです。サイトのコンテンツを理解できるようにするために、検索エンジンはスパイダーまたは Web クローラーを使用します。検索エンジンクローラーは、robots.txt 構成ファイルで許可されている限り、できるだけ多くのページを要求します。クロールされたページは、そのコンテンツに基づいて分類されます。ユーザーが検索エンジンで用語を検索すると、ユーザーの検索用語とページ内のいくつかのキーワードとの一致が識別される場合があります。

Web トラフィックが広告収入を促進するため、検索エンジン最適化または SEO と呼ばれる業界が出現しました。SEO とは基本的に、検索エンジンが検索結果に含めるページに優先順位を付ける方法を学習し、Web サイトがより有利にランク付けされるように調整することです。SEO はより多くのトラフィックを引き寄せ、結果としてより多くの広告収入をもたらします。

ほとんどの SEO 手法は、実際にはエンドユーザーのエクスペリエンスに利益をもたらすか、少なくとも中立的なものになります。たとえば、HTTPS を介したコンテンツの提供は SEO ツールです。これにより、Web 全体で暗号化が促進され、ユーザーのプライバシーとセキュリティが向上します。メタタグにキーワードを含めると、検索エンジンがページの主要なコンテンツをエンドユーザーに理解するのに役立ちますが、実際には違いはありません。

残念ながら、「ブラックハットSEO」テクニックもいくつかあります。これらは、悪意のあるハッカーのように、コンピューターセキュリティのブラックハットとは関係ありません。ただし、彼らはシステムがどのように機能するかを自分たちの利益のために利用しています。これらのトリックの 1 つはクローキングと呼ばれます。

クローキング

一般に、2 人のユーザーが同じ Web ページにアクセスすると、同じコンテンツが表示されると想定されます。ユーザー関連のデータに関係している場合、正確な内容は異なる可能性がありますが、誰もが同じニュース記事や自分のソーシャルメディアフィードなどを見る必要があります。また、検索エンジンも同じ経験を持つことが期待されます。繰り返しになりますが、Web サイトにサインインしないため、個人のフィードなどのインデックスは作成されませんが、パブリックコンテンツはユーザーと同じように表示されます。

検索エンジンは、表示されるコンテンツに基づいてのみ結果に優先順位を付けることができます。クローキングは、検索エンジンが見るコンテンツを変更するブラックハット SEO 手法です。SEO に最適化されたページは、関連性の高いランキングを達成するために検索エンジンに表示されます。ただし、実際の人間の訪問者には、異なるコンテンツが提供されます。これにはいくつかの正当な使用例がありますが、通常はエンドユーザーに利益をもたらすために採用されるのではなく、検索ランキングに利益をもたらすために採用されます。

たとえば、ページのコンテンツがテキスト以外の形式である場合、検索エンジンはそれを理解できません。この場合、文字起こししたバージョンや要約メモなどを添えて提供することが合理的かもしれません。これは、エンドユーザーに正当な利益をもたらす可能性があり、他の方法では分類するのが難しい、真に関連性のあるコンテンツのランキングを上げるのに役立ちます。

スパムデクシング

残念ながら、これは通常、spamdex やブラックハット SEO の一形態として使用されます。検索エンジンが特定の SEO 機能を探すことを知っていると、検索エンジンのクローラーは、実際の実際のコンテンツがなく、関連性があるように見える膨大な量のキーワードだけで、SEO に最適化されたページを提供できます。ユーザーが訪問すると、同じものはまったく表示されません。多くの場合、実際には関係のない別のコンテンツにリダイレクトされる可能性があります。

ヒント: Spamdexing は Spam と Indexing の造語です。これは、検索エンジンのランキングを違法に向上させる一連の方法を指します。

もちろん、ユーザーの経験はサイト所有者にとって重要ではありません。ユーザーがサイトにアクセスして広告が配信されると、所有者はすでに広告収入を生み出しています。

結論

クローキングはブラックハットSEOの一形態です。これには、検索エンジンのクローラーからのリクエストを識別し、SEO に最適化されたページをそれらに提供することが含まれます。これらのページは、人間のユーザーに提供されるコンテンツとは完全に異なります。この違いは、検索エンジンがユーザーに配信される実際のサイトの正確な画像を持っていないため、結果を正しくランク付けできないことを意味します. クローキングは常に、ユーザーが目にする実際のコンテンツが関連性や有用性がない場合でも、検索エンジンのランキングを上げることを目的として行われます。