PHP抓取網頁指定內容

?php

專注于為中小企業(yè)提供網站設計制作、網站建設服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)白云免費做網站提供優(yōu)質的服務。我們立足成都，凝聚了一批互聯(lián)網行業(yè)人才，有力地推動了上1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網站建設實現(xiàn)規(guī)模擴充和轉變。

/*

* 如下： 方法有點笨

* 抓取網頁內容用 PHP 的正則

* 用JS每隔5分鐘刷新當前頁面---即重新獲取網頁內容

*

* 注： $mode中--title/title-更改為所需內容（如 $mode = "#a(.*)/a#";獲取所有鏈接）

*

* window.location.href="";中的

* 更改為自己的URL----作用：即刷新當前頁面

*

* setInterval("ref()",300000);是每隔300000毫秒（即 5 * 60 *1000 毫秒即5分鐘）執(zhí)行一次函數(shù) ref()

*

* print_r($arr);輸出獲得的所有內容 $arr是一個數(shù)組 可根據所需輸出一部分（如 echo $arr[1][0];）

* 若要獲得所有內容 可去掉

* $mode = "#title(.*)/title#";

if(preg_match_all($mode,$content,$arr)){

print_r($arr);

echo "br/";

echo $arr[1][0];

}

再加上 echo $content；

*/

$url = ""; //目標站

$fp = @fopen($url, "r") or die("超時");

$content=file_get_contents($url);

$mode = "#title(.*)/title#";

if(preg_match_all($mode,$content,$arr)){

//print_r($arr);

echo "br/";

echo $arr[1][0];

}

?

script language="JavaScript" type="text/javascript"

--

function ref(){

window.location.href="";

}

setInterval("ref()",300000);

//--

/script

php curl 模擬登錄并獲取數(shù)據實例詳解

PHP的curl()在抓取網頁的效率方面是比較高的，而且支持多線程，而file_get_contents()效率就要稍低些，當然，使用curl時需要開啟下curl擴展。

代碼實戰(zhàn)

先來看登錄部分的代碼：

//模擬登錄

function

login_post($url,

$cookie,

$post)

{

$curl

=

curl_init();//初始化curl模塊

curl_setopt($curl,

CURLOPT_URL,

$url);//登錄提交的地址

curl_setopt($curl,

CURLOPT_HEADER,

0);//是否顯示頭信息

curl_setopt($curl,

CURLOPT_RETURNTRANSFER,

0);//是否自動顯示返回的信息

curl_setopt($curl,

CURLOPT_COOKIEJAR,

$cookie);

//設置Cookie信息保存在指定的文件中

curl_setopt($curl,

CURLOPT_POST,

1);//post方式提交

curl_setopt($curl,

CURLOPT_POSTFIELDS,

http_build_query($post));//要提交的信息

curl_exec($curl);//執(zhí)行cURL

curl_close($curl);//關閉cURL資源，并且釋放系統(tǒng)資源

}

函數(shù)login_post()首先初始化curl_init()，然后使用curl_setopt()設置相關選項信息，包括要提交的url地址，保存的cookie文件，post的數(shù)據（用戶名和密碼等信息），是否返回信息等等，然后curl_exec執(zhí)行curl，最后curl_close()釋放資源。注意PHP自帶的http_build_query()可以將數(shù)組轉換成相連接的字符串。

接下來如果登錄成功后，我們要獲取登錄成功后的頁面信息。

//登錄成功后獲取數(shù)據

function

get_content($url,

$cookie)

{

$ch

=

curl_init();

curl_setopt($ch,

CURLOPT_URL,

$url);

curl_setopt($ch,

CURLOPT_HEADER,

0);

curl_setopt($ch,

CURLOPT_RETURNTRANSFER,

1);

curl_setopt($ch,

CURLOPT_COOKIEFILE,

$cookie);

//讀取cookie

$rs

=

curl_exec($ch);

//執(zhí)行cURL抓取頁面內容

curl_close($ch);

return

$rs;

}

函數(shù)get_content()中也是先初始化curl，然后設置相關選項，執(zhí)行curl，釋放資源。其中我們設置CURLOPT_RETURNTRANSFER為1即自動返回信息，而CURLOPT_COOKIEFILE可以讀取到登錄時保存的cookie信息，最后將頁面內容返回。

我們的最終目的是要獲取到模擬登錄后的信息，也就是只有正常登錄成功后才能獲取的有用信息。接下來我們以登錄開源中國的移動版為例，看看如何抓取到登錄成功后的信息。

//設置post的數(shù)據

$post

=

array

(

'email'

=

'oschina賬戶',

'pwd'

=

'oschina密碼',

'goto_page'

=

'/my',

'error_page'

=

'/login',

'save_login'

=

'1',

'submit'

=

'現(xiàn)在登錄'

);

//登錄地址

$url

=

"";

//設置cookie保存路徑

$cookie

=

dirname(__FILE__)

.

'/cookie_oschina.txt';

//登錄后要獲取信息的地址

$url2

=

"";

//模擬登錄

login_post($url,

$cookie,

$post);

//獲取登錄頁的信息

$content

=

get_content($url2,

$cookie);

//刪除cookie文件

@

unlink($cookie);

//匹配頁面信息

$preg

=

"/td

class='portrait'(.*)\/td/i";

preg_match_all($preg,

$content,

$arr);

$str

=

$arr[1][0];

//輸出內容

echo

$str;

使用總結

1、初始化curl；

2、使用curl_setopt設置目標url，和其他選項；

3、curl_exec，執(zhí)行curl；

4、執(zhí)行后，關閉curl；

5、輸出數(shù)據。

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

php怎么抓取其它網站數(shù)據

可以用以下4個方法來抓取網站 的數(shù)據：

1. 用 file_get_contents 以 get 方式獲取內容：

?

$url = '';

$html = file_get_contents($url);

echo $html;

2. 用fopen打開url，以get方式獲取內容

?

$url = '';

$fp = fopen($url, 'r');

stream_get_meta_data($fp);

$result = '';

while(!feof($fp))

{

$result .= fgets($fp, 1024);

}

echo "url body: $result";

fclose($fp);

3. 用file_get_contents函數(shù),以post方式獲取url

?

$data = array(

'foo'='bar',

'baz'='boom',

'site'='',

'name'='nowa magic');

$data = http_build_query($data);

//$postdata = http_build_query($data);

$options = array(

'http' = array(

'method' = 'POST',

'header' = 'Content-type:application/x-www-form-urlencoded',

'content' = $data

//'timeout' = 60 * 60 // 超時時間（單位:s）

)

);

$url = "";

$context = stream_context_create($options);

$result = file_get_contents($url, false, $context);

echo $result;

4、使用curl庫，使用curl庫之前，可能需要查看一下php.ini是否已經打開了curl擴展

$url = '';

$ch = curl_init();

$timeout = 5;

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents = curl_exec($ch);

curl_close($ch);

echo $file_contents;

php怎么獲取form表單提交的數(shù)據

一般是用post獲取提交的數(shù)據,如下實例:

form?name="form1"?method="post"

p用戶名:input?type="text"?name="uname"?//p

p密碼:input?type="password"?name="upwd"?//p

pinput?type="submit"?name="btn"?value="提交"?//p

?php

if?($_POST["btn"]){

echo?'用戶名:'.$_POST["uname"].'br';//三體教程

echo?'密碼:'.$_POST["upwd"];

}

?

/form

php獲取網頁源碼內容有哪些辦法

可以參考以下幾種方法：

方法一： file_get_contents獲取

span style="white-space:pre"?/span$url="";

span style="white-space:pre"?/span$fh= file_get_contents

('');span style="white-space:pre"?/spanecho $fh;

方法二：使用fopen獲取網頁源代碼

span style="white-space:pre"?/span$url="";

span style="white-space:pre"?/span$handle = fopen ($url, "rb");

span style="white-space:pre"?/span$contents = "";

span style="white-space:pre"?/spanwhile (!feof($handle)) {

span style="white-space:pre"??/span$contents .= fread($handle, 8192);

span style="white-space:pre"?/span}

span style="white-space:pre"?/spanfclose($handle);

span style="white-space:pre"?/spanecho $contents; //輸出獲取到得內容。

方法三：使用CURL獲取網頁源代碼

$url="";

$UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)';

$curl = curl_init();?//創(chuàng)建一個新的CURL資源

curl_setopt($curl, CURLOPT_URL, $url);?//設置URL和相應的選項

curl_setopt($curl, CURLOPT_HEADER, 0);? //0表示不輸出Header，1表示輸出

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);?//設定是否顯示頭信息,1顯示，0不顯示。//如果成功只將結果返回，不自動輸出任何內容。如果失敗返回FALSE

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);

curl_setopt($curl, CURLOPT_ENCODING, '');?//設置編碼格式，為空表示支持所有格式的編碼

//header中“Accept-Encoding: ”部分的內容，支持的編碼格式為："identity"，"deflate"，"gzip"。

curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);

//設置這個選項為一個非零值(象 “Location: “)的頭，服務器會把它當做HTTP頭的一部分發(fā)送(注意這是遞歸的，PHP將發(fā)送形如 “Location: “的頭)。

$data = curl_exec($curl);

echo $data;

//echo curl_errno($curl); //返回0時表示程序執(zhí)行成功

curl_close($curl);?//關閉cURL資源，并釋放系統(tǒng)資源

拓展資料

PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本預處理器”）是一種通用開源腳本語言。語法吸收了C語言、Java和Perl的特點，利于學習，使用廣泛，主要適用于Web開發(fā)領域。PHP 獨特的語法混合了C、Java、Perl以及PHP自創(chuàng)的語法。它可以比CGI或者Perl更快速地執(zhí)行動態(tài)網頁。

用PHP做出的動態(tài)頁面與其他的編程語言相比，PHP是將程序嵌入到HTML（標準通用標記語言下的一個應用）文檔中去執(zhí)行，執(zhí)行效率比完全生成HTML標記的CGI要高許多；PHP還可以執(zhí)行編譯后代碼，編譯可以達到加密和優(yōu)化代碼運行，使代碼運行更快。

參考資料：PHP（超文本預處理器)-百度百科

本文題目：php數(shù)據抓取實例,php數(shù)據采集方法
網站URL：http://www.chinadenli.net/article4/dssddie.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、Google、電子商務、響應式網站、移動網站建設、服務器托管

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)