基于curl數(shù)據(jù)采集之正則處理函數(shù)get_matches的使用_PHP教程

推薦：基于curl數(shù)據(jù)采集之單頁面并行采集函數(shù)get_htmls的使用
用第一篇的get_html()實(shí)現(xiàn)簡單的數(shù)據(jù)采集，由于是一個(gè)一個(gè)執(zhí)行才采集數(shù)據(jù)的傳輸時(shí)間就會是所有頁面下載的總時(shí)長，一個(gè)頁面假設(shè)1秒，那么10個(gè)頁面就是10秒了。所幸curl還提供了并行處理的功能

根據(jù)前兩篇的博文：

已經(jīng)可以得到了我們需要的html文件，現(xiàn)在需要處理得到的文件獲取到我們需要的采集的數(shù)據(jù)。

對于html文檔的解析，沒有像XML那樣的解析類，因?yàn)镠TML文檔有很多不成對的標(biāo)簽，很不嚴(yán)格。這個(gè)時(shí)候就需要采用其他的一些輔助類了，simplehtmldom是一個(gè)類似于JQuery方式操作HTML文檔的解析類。可以很方便的得到想要的數(shù)據(jù)，可惜速度慢。這里不是我們這里討論的重點(diǎn)，我主要使用正則來匹配我所需要的采集的數(shù)據(jù)，可以很快速的得到我需要采集的信息。

考慮到get_html可以判斷返回的數(shù)據(jù),但是get_htmls沒有辦法判斷，為了方便調(diào)式和調(diào)用寫了如下兩個(gè)函數(shù)：

復(fù)制代碼代碼如下:hl5o.cn

function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){
if(!$multi){
if(!preg_match($pattern,$html,$matches,$flags,$offset)){
echo $err_msg."! 錯(cuò)誤信息: ".get_preg_err_msg()."\n";
return false;
}
}else{
if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){
echo $err_msg."! 錯(cuò)誤信息: ".get_preg_err_msg()."\n";
return false;
}
}
return $matches;
}
function get_preg_err_msg(){
$error_code = preg_last_error();
switch($error_code){
case PREG_NO_ERROR :
$err_msg = 'PREG_NO_ERROR';
break;
case PREG_INTERNAL_ERROR:
$err_msg = 'PREG_INTERNAL_ERROR';
break;
case PREG_BACKTRACK_LIMIT_ERROR:
$err_msg = 'PREG_BACKTRACK_LIMIT_ERROR';
break;
case PREG_RECURSION_LIMIT_ERROR:
$err_msg = 'PREG_RECURSION_LIMIT_ERROR';
break;
case PREG_BAD_UTF8_ERROR:
$err_msg = 'PREG_BAD_UTF8_ERROR';
break;
case PREG_BAD_UTF8_OFFSET_ERROR:
$err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR';
break;
default:
return '未知錯(cuò)誤!';
}
return $err_msg.': '.$error_code;
}

可以這樣調(diào)用：

復(fù)制代碼代碼如下:hl5o.cn

$url = 'http://www.baidu.com';
 $html = get_html($url);
 $matches = get_matches('!<a[^<]+</a>!',$html,'沒有找到鏈接',true);
 if($matches){
     var_dump($matches);
 }

或者這樣調(diào)用：

復(fù)制代碼代碼如下:hl5o.cn

$urls = array('http://www.baidu.com','http://www.hao123.com');
 $htmls = get_htmls($urls);
 foreach($htmls as $html){
     $matches = get_matches('!<a[^<]+</a>!',$html,'沒有找到鏈接',true);
     if($matches){
         var_dump($matches);
     }
 }

就可以得到所需的信息，無論單頁面采集還是多頁面采集，最終PHP還是只能處理一個(gè)頁面，由于使用get_matches了，可以對返回的值進(jìn)行判斷真假，得到正確的數(shù)據(jù)，由于使用正則的時(shí)候遇到了超過正則回溯的問題，增加get_preg_err_msg來提示正則信息。

由于采集數(shù)據(jù)的時(shí)候，經(jīng)常是采集列表頁，根據(jù)列表頁得到的內(nèi)容頁鏈接再采集內(nèi)容頁，或者更多的層次，那么循環(huán)嵌套會很多，對于代碼的控制會感覺力不從心。那我們是否可以把采集列表頁的代碼和采集內(nèi)容頁的代碼，或者更多的層次的采集代碼分離開，甚至循環(huán)都簡化呢？

分享：php獲取本地圖片文件并生成xml文件輸出具體思路
本文將詳細(xì)介紹下php獲取本地圖片文件并生成xml文件輸出，代碼簡單實(shí)用，感興趣的朋友可以參考下哈，希望對你學(xué)習(xí)php有所幫助