「クローラ」の版間の差分
削除された内容 追加された内容
関連項目に岡崎市立中央図書館事件を追加 |
|||
2行目:
'''クローラ'''（Crawler）とは、[[World Wide Web|ウェブ]]上の文書や画像などを周期的に取得し、自動的に[[データベース]]化する[[プログラム (コンピュータ)|プログラム]]である。「ボット（Bot）」、「スパイダー」、「[[ロボット]]」などとも呼ばれる。
主に[[検索エンジン]]のデータベース、インデックス作成に用いられているほか、[[統計]]調査などの目的にも利用される。近年では[[電子メール]][[メールアドレス|アドレス]]収集業者などもクローラを利用して、[[スパム (メール)|スパム]]の送信効率を上げている。
一般にクローラは、既知の[[HyperText Markup Language|HTML]]文書の新しいコピーを要求し、文書中に含まれる[[ハイパーリンク|リンク]]をたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。
| |||