クローラー

ウェブ上の情報を自動的に収集するプログラムのことです。検索エンジンがウェブページを巡回し、リンクを辿ってデータを取得し、インデックスを作成します。検索エンジンのランキングやコンテンツの最新情報を反映するために重要な役割を果たします。