Ruby open-uriでリファラーとユーザーエージェントを設定してWebページを取得 | VPSサーバーでWebサイト公開　備忘録　~Linux、MySQLからAJAXまで

通常のブラウザからのHTTPリクエストに近づけるため、HTTPヘッダーにエージェントとリファラーを設定する方法を確認しました。

※目次をクリックすると目次の下部にコンテンツが表示されます。

１．HTTPヘッダーを確認する方法
２．Ruby open-uriサンプルプログラム

HTTPヘッダーを確認する方法

１）Webパケットモニタリングツールでモニタする
　
例えば下記ツールをインストールしてモニタします。
Fiddler
http://www.telerik.com/fiddler
　
・ブラウザによる通信は、Fiddlerを起動すると自動でモニタできます。
　
・Ruby curbを使った通信をモニタリングする場合は、下記のようにプロキシーのポートの設定を行います。
:proxy => ‘http://127.0.0.1:8888’
　
２）Apacheのアクセスログで確認する
　
ローカル環境など自分が管理するWebサーバーを使って動作確認する場合は、Webサーバーのアクセスログで確認する事が出来ます。
　
Apacheのログ設定で、リファラーとユーザーエージェントを記録する場合の例です。
　
（設定例）
LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”” combined
CustomLog “logs/access.log” combined

Ruby open-uriサンプルプログラム

１）リファラーとユーザーエージェントの設定
　
下記のように設定できます。
“User-Agent” => “User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:28.0) Gecko/20100101 Firefox/28.0”,
“Referer” => “http://localhost/”,
　
２）サンプルプログラム

require 'open-uri'
open("http://localhost/ng/offcanvas.html",
  "User-Agent" => "User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:28.0) Gecko/20100101 Firefox/28.0",
  "Referer" => "http://localhost/",
   :proxy => 'http://127.0.0.1:8888') {|f|
  puts f.read
}

　
３）Apacheアクセスログの確認
　
127.0.0.1 – – [22/Dec/2014:10:44:29 +0900] “GET /ng/offcanvas.html HTTP/1.1” 200 5948 “http://localhost/” “User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:28.0) Gecko/20100101 Firefox/28.0”

関連記事の目次

RubyでWebページ取得

コメントを残す コメントをキャンセル

コメントを残すコメントをキャンセル