スパイダー

スパイダーとは、ウェブクローラーとも呼ばれ、検索エンジンがウェブサイトのコンテンツをインデックスするために使用する自動化されたプログラムのことです。