ウェブクローラー

ウェブクローラー（英語：web crawler）とは、特定のウェブページを起点に次々とハイパーリンクを辿りウェブページを取得するプログラムのことである。 「ウェブボット」や単に「ボット」などとも呼ばれる。

概要

GoogleやBingなどのロボット型検索エンジンのウェブクローラーが有名である。一昔前はクロールが回ってくるのは半年に一回程度であったが最近は物凄い勢いで巡回している。どういう仕組み、機材なのかは謎すぎる。

また、怪しいウェブクローラーも大量に存在しており、世の中には放置プレイされているウェブサーバーを探し出す目的でセキュリティホールを延々と探っているものなども存在している。

インターネットが一般家庭に普及してまもない頃は、電話料金が従量課金であったり回線速度が遅かった関係で、お気に入りのウェブサイトを事前に登録し、夜な夜な巡回するフリーソフトやシェアウェアなども大量に存在し、これらで取得したウェブページをオフラインでゆっくり閲覧するということが行われていた。

関連項目

• ウェブスクレイピング
• データマイニング