クローラーとは

クローラー（Crawler)とは、Googleなどの検索エンジンがWeb上の情報（テキストファイル・HTMLファイル・CSSファイル・JavaScript・画像・PDFなど）を、自動で巡回し収集するプログラムのことです。
ボットやロボットやスパイダーとも言われています。
この収集したデータを整理し格納（インデックス）して検索エンジンのデータベースとなります。

クローラーの種類

クローラーの種類にはWeb検索にはGooglebot、画像検索にはGooglebot-Image、モバイル検索にはGooglebotｰMobileといった様々クローラーが存在します。

どうやって巡回するの？

クローラーはWebページに張られているリンクタグを辿ってWebサイトからWebサイトに訪れて、ページからページへ移動していきます。
適切な内部リンクを設置することにより検索エンジンが巡回しやすくなります。