Rubyを使ってWebページの情報を自動で取得して処理する方法の一つにcurbを使う方法があります。CentOSにcurbをインストールする手順をまとめました。
（１）要件の確認
オンラインサイトで確認します
https://github.com/taf2/curb
・A working Ruby installation (1.8+, tested with 1.8.6, 1.8.7, 1.9.1, and 1.9.2)
・A working (lib)curl installation, with development stuff (7.5+, tested with 7.19.x
（２）インストール手順
１）Ruby環境の構築
構築方法は下記サイト参照
RVMでCentOSにRuby2.0.0、Ruby1.9.2をインストール
２）libcurl-develがインストール済みか確認
$ rpm -qa | grep libcurl-devel
libcurl-devel-7.19.7-37.el6_4.x86_64
３）curbインストール
$ gem install curb
Fetching: curb-0.8.6.gem (100%)
Building native extensions. This could take a while…
Successfully installed curb-0.8.6
1 gem installed
Installing ri documentation for curb-0.8.6…
Installing RDoc documentation for curb-0.8.6…
４）動作確認
指定したWebサイトのページ内の情報を取得し、そのサイズを表示する簡単なサンプルプログラムです。
①下記テストスクリプト作成
require 'rubygems' require 'curb' c = Curl::Easy.new c.url = "http://example.com" c.http_get puts c.body_str.size
②スクリプト実行
$ ruby test.rb
2982