千葉県船橋市・習志野市・千葉市を中心にホームページ制作・更新・管理、チラシ、パンフレット、カタログ、会社案内、会報誌等のデザインDTP制作。それに伴うデザインの入稿データ作成のご用命を承っております。

クローラー(Crawler)

クローラーとは

クローラー(Crawler)とは、Googleなどの検索エンジンがWeb上の情報(テキストファイル・HTMLファイル・CSSファイル・JavaScript・画像・PDFなど)を、自動で巡回し収集するプログラムのことです。
ボットやロボットやスパイダーとも言われています。
この収集したデータを整理し格納(インデックス)して検索エンジンのデータベースとなります。

クローラーの種類

クローラーの種類にはWeb検索にはGooglebot、画像検索にはGooglebot-Image、モバイル検索にはGooglebotーMobileといった様々クローラーが存在します。

どうやって巡回するの?

クローラーはWebページに張られているリンクタグを辿ってWebサイトからWebサイトに訪れて、ページからページへ移動していきます。
適切な内部リンクを設置することにより検索エンジンが巡回しやすくなります。
  • Facebook
  • Hatena
  • twitter
  • Google+
PAGETOP
あなたのIPアドレスは【54.162.154.91】 あなたのホスト名は【 ec2-54-162-154-91.compute-1.amazonaws.com】