クローリング

クローリングとは、ウェブ上の情報を自動的に収集するプロセスのことです。検索エンジンがウェブページをインデックスするために行われます。