差分
'''ウェブクローラー'''（[[英語]]：web crawler）とは、特定の[[ウェブページ]]を起点に次々と[[ハイパーリンク]]を辿り[[ウェブページを]]取得する[[プログラム]]のことである。
「[[ウェブボット]]」や単に「[[ボット]]」などとも呼ばれる。
==概要==
[[Google]]や[[Bing]]などの[[ロボット型検索エンジン]]のウェブクローラーが有名である。一昔前は[[クロール]]が回ってくるのは半年に一回程度であったが最近は物凄い勢いで巡回している。どういう仕組み、機材なのかは謎すぎる。
また、怪しいウェブクローラーも大量に存在しており、世の中には放置プレイされている[[ウェブサーバー]]を探し出す目的で[[セキュリティホール]]を延々と探っているものなども存在している。
[[インターネット]]が一般家庭に普及してまもない頃は、電話料金が従量課金であったり回線速度が遅かった関係で、お気に入りのウェブサイトを事前に登録し、夜な夜な巡回する[[フリーソフト]]や[[シェアウェア]]なども大量に存在し、これらで取得したウェブページを[[オフライン]]でゆっくり閲覧するということが行われていた。
==関連項目==
*[[ウェブスクレイピング]]
*[[データマイニング]]
==参考文献==
{{reflist}}
{{stub}}
「[[ウェブボット]]」や単に「[[ボット]]」などとも呼ばれる。
==概要==
[[Google]]や[[Bing]]などの[[ロボット型検索エンジン]]のウェブクローラーが有名である。一昔前は[[クロール]]が回ってくるのは半年に一回程度であったが最近は物凄い勢いで巡回している。どういう仕組み、機材なのかは謎すぎる。
また、怪しいウェブクローラーも大量に存在しており、世の中には放置プレイされている[[ウェブサーバー]]を探し出す目的で[[セキュリティホール]]を延々と探っているものなども存在している。
[[インターネット]]が一般家庭に普及してまもない頃は、電話料金が従量課金であったり回線速度が遅かった関係で、お気に入りのウェブサイトを事前に登録し、夜な夜な巡回する[[フリーソフト]]や[[シェアウェア]]なども大量に存在し、これらで取得したウェブページを[[オフライン]]でゆっくり閲覧するということが行われていた。
==関連項目==
*[[ウェブスクレイピング]]
*[[データマイニング]]
==参考文献==
{{reflist}}
{{stub}}