ウェブクローラー

ウェブクローラー（英語：web crawler）とは、特定のウェブページを起点に次々とハイパーリンクを辿りウェブページを取得するプログラムのことである。「ウェブボット」や単に「ボット」などとも呼ばれる。

概要[編集 | ソースを編集]

GoogleやBingなどのロボット型検索エンジンのウェブクローラーが有名である。一昔前はクロールが回ってくるのは半年に一回程度であったが最近は物凄い勢いで巡回している。どういう仕組み、機材なのかは謎すぎる。

また、怪しいウェブクローラーも大量に存在しており、世の中には放置プレイされているウェブサーバーを探し出す目的でセキュリティホールを延々と探っているものなども存在している。

インターネットが一般家庭に普及してまもない頃は、電話料金が従量課金であったり回線速度が遅かった関係で、お気に入りのウェブサイトを事前に登録し、夜な夜な巡回するフリーソフトやシェアウェアなども大量に存在し、これらで取得したウェブページをオフラインでゆっくり閲覧するということが行われていた。

	この項目「ウェブクローラー」は、まだ書きかけの項目です。加筆、訂正などをして下さる協力者を求めています。
このテンプレートは分野別のスタブテンプレート（Monobook:スタブカテゴリ参照）に変更することが望まれています。