這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)java使用url如何實(shí)現(xiàn)爬取網(wǎng)頁(yè)中的內(nèi)容,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
成都創(chuàng)新互聯(lián)公司科技有限公司專業(yè)互聯(lián)網(wǎng)基礎(chǔ)服務(wù)商,為您提供德陽(yáng)電信服務(wù)器托管,高防服務(wù)器租用,成都IDC機(jī)房托管,成都主機(jī)托管等互聯(lián)網(wǎng)服務(wù)。
運(yùn)行效果:

首先打開百度百科,搜索詞條,比如“演員”,再按F12查看源碼

然后抓取你想要的標(biāo)簽,注入LinkedHashMap里面就ok了,很簡(jiǎn)單是吧!看看代碼羅
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.*;
/**
* Created by chunmiao on 17-3-10.
*/
public class ReadBaiduSearch {
//儲(chǔ)存返回結(jié)果
private LinkedHashMap<String,String> mapOfBaike;
//獲取搜索信息
public LinkedHashMap<String,String> getInfomationOfBaike(String infomationWords) throws IOException {
mapOfBaike = getResult(infomationWords);
return mapOfBaike;
}
//通過(guò)網(wǎng)絡(luò)鏈接獲取信息
private static LinkedHashMap<String, String> getResult(String keywords) throws IOException {
//搜索的url
String keyUrl = "http://baike.baidu.com/search?word=" + keywords;
//搜索詞條的節(jié)點(diǎn)
String startNode = "<dl class=\"search-list\">";
//詞條的鏈接關(guān)鍵字
String keyOfHref = "href=\"";
//詞條的標(biāo)題關(guān)鍵字
String keyOfTitle = "target=\"_blank\">";
String endNode = "</dl>";
boolean isNode = false;
String title;
String href;
String rLine;
LinkedHashMap<String,String> keyMap = new LinkedHashMap<String,String>();
//開始網(wǎng)絡(luò)請(qǐng)求
URL url = new URL(keyUrl);
HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");
BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
//讀取網(wǎng)頁(yè)內(nèi)容
while ((rLine = bufferedReader.readLine()) != null){
//判斷目標(biāo)節(jié)點(diǎn)是否出現(xiàn)
if(rLine.contains(startNode)){
isNode = true;
}
//若目標(biāo)節(jié)點(diǎn)出現(xiàn),則開始抓取數(shù)據(jù)
if (isNode){
//若目標(biāo)結(jié)束節(jié)點(diǎn)出現(xiàn),則結(jié)束讀取,節(jié)省讀取時(shí)間
if (rLine.contains(endNode)) {
//關(guān)閉讀取流
bufferedReader.close();
inputStreamReader.close();
break;
}
//若值為空則不讀取
if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){
keyMap.put(title,href);
}
}
}
return keyMap;
}
//獲取詞條對(duì)應(yīng)的url
private static String getHref(String rLine,String keyOfHref){
String baikeUrl = "http://baike.baidu.com";
String result = "";
if(rLine.contains(keyOfHref)){
//獲取url
for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){
result += rLine.charAt(j);
}
//獲取的url中可能不含baikeUrl,如果沒有則在頭部添加一個(gè)
if(!result.contains(baikeUrl)){
result = baikeUrl + result;
}
}
return result;
}
//獲取詞條對(duì)應(yīng)的名稱
private static String getName(String rLine,String keyOfTitle){
String result = "";
//獲取標(biāo)題內(nèi)容
if(rLine.contains(keyOfTitle)){
result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());
//將標(biāo)題中的內(nèi)容含有的標(biāo)簽去掉
result = result.replaceAll("<em>|</em>|</a>|<a>","");
}
return result;
}
}上述就是小編為大家分享的java使用url如何實(shí)現(xiàn)爬取網(wǎng)頁(yè)中的內(nèi)容了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
當(dāng)前標(biāo)題:java使用url如何實(shí)現(xiàn)爬取網(wǎng)頁(yè)中的內(nèi)容
文章網(wǎng)址:http://www.chinadenli.net/article18/gcecdp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、網(wǎng)頁(yè)設(shè)計(jì)公司、域名注冊(cè)、虛擬主機(jī)、外貿(mào)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
網(wǎng)頁(yè)設(shè)計(jì)公司知識(shí)