インターネット上のデータを勝手に取得していくロボット(スパイダー・クローラー・Spider・Crawler)に関するブログです。

プロフィール
  • プロフィール画像
  • アイコン画像 ニックネーム:spider-crawler
読者になる
2007年03月
« 前の月    |    次の月 »
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31
最新コメント
Yapme!一覧
読者になる
リファラ(REFERER)スパムロボットとは / 2007年03月01日(木)
アクセス解析をしているWebサイト運営者は多いと思います。アクセス解析はどんなOS、ブラウザで、いつ、どのホストからどのページにアクセスがあったか、どんなページからアクセスがあったかなどをチェックして、そのデータを元にページを修正したり、ユーザーの行動を把握したりするものです。通常、アクセス解析を行っている人は、どんなページからリンクされてきたのかのリファラ(REFERER)にアクセスをします。
 
 続きを読む…  
Posted at 11:23 / ロボット / この記事のURL
コメント(5)
メールアドレス収集ロボットとは / 2007年02月28日(水)
インターネット上のWebサイトからメールアドレスだけを収集するクローラー(スパイダー)も存在します。インターネット上のWebサイトにメールアドレスを掲載しただけで迷惑メール(スパムメール)が到着した方も多いと思います。これは、インターネット上に公開されているメールアドレスだけを収集するクローラー(スパイダー)がたくさん存在するためです。
 
 続きを読む…  
Posted at 12:23 / ロボット / この記事のURL
コメント(0)
検索エンジンのクローラー・スパイダーとは / 2007年02月26日(月)
ロボット型の検索エンジンのクローラーやスパイダーとは、検索結果に表示するデータを取得するためのソフトウェアです。たとえば、GoogleやYahoo,msn等の検索結果に表示されるデータは検索エンジン各社がクローラーやスパイダーと呼ばれるソフトウェアが自動でサイト情報を取得し、これらのデータを加工して表示しています。
 
 続きを読む…  
Posted at 00:30 / ロボット / この記事のURL
コメント(0)
インターネット上のロボットたち / 2007年02月25日(日)
最近はインターネット上のデータを勝手に取得していくロボット(ソフトウェア)がたくさん存在しています。有名なものとしては検索エンジンのデータとして取得するロボットから、メールアドレスの取得だけを目的としたロボットまで様々です
 
 続きを読む…  
Posted at 22:01 / ロボット / この記事のURL
コメント(0)
 
 
 Powered by yaplog!