PHP CURLで表示件数が多く複数にページに渡っているWebページの情報を取得する方法をまとめました。
基本的な部分は下記記事記載の単一Webページの場合と共通で、複数のWebページ取得に関わる部分のみ記載しています。
PHP CURLで検索条件を入力するWebページの情報を取得
１）URLのページ番号を示すURLクエリパラメータを確認
ブラウザで対象ページを閲覧し、１ページ目から数ページ分表示し、その時のURLを確認します。
例）
http://対象サイトのURL/?検索条件&page=2
上記例の場合は、ページ数がpage=2のURLクエリパラメータでページ番号を指定しています。
２）総件数を示すHTMLを確認
全ページ数を知る必要がありますが、全ページ数はWebページ上に表示されていないことがあります。商品や賃貸物件などの総件数は通常表示されるので、総件数を示すHTMLを確認します。
PHPコードで正規表現を使って抽出します。
３）全体の処理の流れ
①PHP CURLで１ページ目のWebページ取得
②正規表現で総件数を取得
③総件数を１ページあたりの表示件数で割り全ページ数を求める。
④ページ数分ループし、複数ページの情報を取得。
４）PHP CURLコードの概要
$ref = "http://example.com/main";
$target_base = "http://example.com/main/kensaku?xx&page=";
$target = $target_base."1";
curl_setopt($sc, CURLOPT_URL, $target);
curl_setopt($sc, CURLOPT_REFERER, $ref);
$web_page = curl_exec($sc);
preg_match("(・・([0-9]+)件・・)siuU", $web_page, $data_array);//全件数を取得
$total_num = $data_array[1];
$page_total = $total_num / 50 ;//１ページ当りの件数が50の場合
$page_total = ceil($page_total) ;
for ( $page_num = 1; $page_num