java爬蟲一段話里的部分字符亂碼解決

1. 網(wǎng)絡(luò)爬蟲亂碼的原因。

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括平川網(wǎng)站建設(shè)、平川網(wǎng)站制作、平川網(wǎng)頁制作以及平川網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，平川網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到平川省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

源網(wǎng)頁的編碼與抓取后的編碼轉(zhuǎn)換不一致。如果源網(wǎng)頁是gbk編碼的字節(jié)流，程序在我們抓取后直接用utf-8編碼輸出到存儲(chǔ)文件，這必然會(huì)造成亂碼，即當(dāng)源網(wǎng)頁編碼與程序抓取后直接處理編碼一致時(shí)，就不會(huì)出現(xiàn)亂碼，然后統(tǒng)一字符編碼后也就不會(huì)出現(xiàn)亂碼。注意區(qū)分源網(wǎng)絡(luò)代碼A，程序B直接使用的代碼，統(tǒng)一轉(zhuǎn)換字符的代碼C。

2. 是網(wǎng)頁的服務(wù)器端代碼。

B.捕獲的數(shù)據(jù)原本是字節(jié)數(shù)組，由A編碼，只有B=A才能保證不會(huì)出現(xiàn)亂碼；否則，當(dāng)字符集不兼容時(shí)，就會(huì)出現(xiàn)亂碼字符。這一步常用于測試。

c、統(tǒng)一轉(zhuǎn)碼是指在獲得網(wǎng)頁的原始編碼A后進(jìn)行統(tǒng)一編碼，主要是將每個(gè)網(wǎng)頁的數(shù)據(jù)統(tǒng)一成一種編碼，往往首選字符集較大的utf-8。

每個(gè)網(wǎng)頁都有自己的代碼，比如gbk，utf-8，iso8859-1，日本jp系統(tǒng)代碼，西歐，俄語等等。爬行時(shí)，所有類型的代碼都將被擴(kuò)展。有的爬蟲只是簡單的識(shí)別網(wǎng)頁，然后統(tǒng)一編碼，有的則直接按照utf-8統(tǒng)一處理，不需要判斷源網(wǎng)頁，顯然會(huì)造成亂碼。

3. 亂碼的解決方案。

根據(jù)原因找到解決辦法很簡單。

1) 確定源網(wǎng)頁的代碼a。

代碼a通常位于網(wǎng)頁的三個(gè)位置，即httpheader的內(nèi)容、網(wǎng)頁的元字符集和網(wǎng)頁標(biāo)題中的文檔定義。獲取源網(wǎng)頁代碼時(shí)，依次判斷這三部分?jǐn)?shù)據(jù)，從頭到尾優(yōu)先級(jí)相同。

理論上這是對(duì)的，但是國內(nèi)有些網(wǎng)站不符合標(biāo)準(zhǔn)。比如寫出來的gbk其實(shí)是utf-8，有的寫出來是utf-8，其實(shí)是gbk。當(dāng)然這是幾個(gè)網(wǎng)站，但是確實(shí)存在。因此，在確定網(wǎng)頁編碼時(shí)，應(yīng)該對(duì)這種特殊情況給予特殊處理，如中文檢查、默認(rèn)編碼等策略。

在另一種情況下，如果以上三種都沒有編碼信息，一般使用第三方的網(wǎng)頁編碼智能識(shí)別工具，如cpdetector。原理是通過統(tǒng)計(jì)字節(jié)數(shù)組的特性來計(jì)算實(shí)際編碼，有一定的準(zhǔn)確率，但是我發(fā)現(xiàn)在實(shí)踐中準(zhǔn)確率還是很有限的。

但是綜合以上三種編碼確認(rèn)方法后，中文亂碼的問題幾乎可以完全解決。在我的基于nutch1.6的網(wǎng)絡(luò)爬蟲系統(tǒng)中，經(jīng)過統(tǒng)計(jì)，編碼準(zhǔn)確率可以達(dá)到99.99%，這也證明了上述方法和策略的可行性。

2) 程序通過代碼b還原源網(wǎng)頁數(shù)據(jù)。

顯然，這里的B應(yīng)該等于a，在java中，如果源網(wǎng)頁的字節(jié)數(shù)組是source_byte_array，就會(huì)轉(zhuǎn)換成stringstr=newstring(source_byte_array，B)。即這些字節(jié)數(shù)組對(duì)應(yīng)的字符被正確編碼顯示在內(nèi)存中，此時(shí)打印結(jié)果正常。此步驟通常用于調(diào)試或控制臺(tái)輸出測試。

3) 統(tǒng)一轉(zhuǎn)碼。

網(wǎng)絡(luò)爬蟲系統(tǒng)中有很多數(shù)據(jù)源。如果無法使用數(shù)據(jù)，它將被轉(zhuǎn)換為其原始數(shù)據(jù)，如果這樣做是浪費(fèi)的。所以一般爬蟲系統(tǒng)要對(duì)抓取的結(jié)果進(jìn)行統(tǒng)一編碼，做到一致，使用方便。此時(shí)，在(2)的基礎(chǔ)上，可以進(jìn)行統(tǒng)一的編碼轉(zhuǎn)換，在java中的實(shí)現(xiàn)如下。

源網(wǎng)頁的字節(jié)數(shù)組是source_byte_array。

轉(zhuǎn)換為普通字符串:stringnormal_source_str=newstring(source_byte_array，c)。這時(shí)候可以直接用javaapi存儲(chǔ)，但是字符串往往不直接寫。因?yàn)橐话闩老x存儲(chǔ)是將多個(gè)源網(wǎng)頁存儲(chǔ)在一個(gè)文件中，所以要記錄字節(jié)偏移量，所以下一步。 再將得到的str轉(zhuǎn)換為統(tǒng)一的編碼C格式的字節(jié)數(shù)組,則byte[] new_byte_array=normal_source_str.getBytes(C)即可，此時(shí)即可用java io api將數(shù)組寫入文件，并記錄相應(yīng)的字節(jié)數(shù)組偏移量等，待真正使用時(shí)，直接io讀取即可。

爬蟲過程不僅會(huì)存在亂碼問題，還會(huì)存在網(wǎng)站爬取涉及法律、IP受限，爬取行為受限等等問題，這個(gè)時(shí)候就需要不斷去解決這些問題。

java web亂碼怎么解決

最基本的亂碼問題

這個(gè)亂碼問題是最簡單的亂碼問題。一般新會(huì)出現(xiàn)。就是頁面編碼不一致導(dǎo)致的亂碼。

Html代碼：

＜%@ page language="java" pageEncoding="UTF-8"%＞? ＜%@ page contentType="text/html;charset=iso8859-1"%＞? ＜html＞? ＜head＞? ＜title＞中文問題＜/title＞? ＜meta http-equiv="Content-Type" content="text/html; charset=UTF-8"＞? ＜/head＞? ＜/head＞? ＜body＞? JSP中文編碼問題解決方法詳解? ＜/body＞? ＜/html＞?

三個(gè)地方的編碼

第一個(gè)地方的編碼格式為jsp文件的存儲(chǔ)格式。Ecljpse會(huì)根據(jù)這個(gè)編碼格式保存文件。并編譯jsp文件，包括里面的漢字。

第二處編碼為解碼格式。因?yàn)榇鏋閁TF-8的文件被解碼為iso8859-1，這樣如有中文肯定出亂碼。也就是必須一致。而第二處所在的這一行，可以沒有。缺省也是使用iso8859-1的編碼格式。所以如果沒有這一行的話，“我是個(gè)好人”也會(huì)出現(xiàn)亂碼。必須一致才可以。

第三處編碼為控制瀏覽器的解碼方式。如果前面的解碼都一致并且無誤的話，這個(gè)編碼格式?jīng)]有關(guān)系。有的網(wǎng)頁出現(xiàn)亂碼，就是因?yàn)闉g覽器不能確定使用哪種編碼格式。因?yàn)轫撁嬗袝r(shí)候會(huì)嵌入頁面，導(dǎo)致瀏覽器混淆了編碼格式。出現(xiàn)了亂碼。

表單使用Post方式提交后接收到的亂碼問題

這個(gè)問題也是一個(gè)常見的問題。這個(gè)亂碼也是tomcat的內(nèi)部編碼格式iso8859-1在搗亂，也就是說post提交時(shí)，如果沒有設(shè)置提交的編碼格式，則會(huì)以iso8859-1方式進(jìn)行提交，接受的jsp卻以u(píng)tf-8的方式接受。導(dǎo)致亂碼。既然這樣的原因，下面有幾種解決方式，并比較。

a. 接受參數(shù)時(shí)進(jìn)行編碼轉(zhuǎn)換

String str = new String(request.getParameter("something").getBytes("ISO-8859-1"),"utf-8") ；

這樣的話，每一個(gè)參數(shù)都必須這樣進(jìn)行轉(zhuǎn)碼。很麻煩。但確實(shí)可以拿到漢字。

b. 在請(qǐng)求頁面上開始處，執(zhí)行請(qǐng)求的編碼代碼

request.setCharacterEncoding("UTF-8")

把提交內(nèi)容的字符集設(shè)為UTF－8。這樣的話，接受此參數(shù)的頁面就不必在轉(zhuǎn)碼了。直接使用

String str = request.getParameter("something")；

即可得到漢字參數(shù)。但每頁都需要執(zhí)行這句話。這個(gè)方法也就對(duì)post提交的有效果，對(duì)于get提交和上傳文件時(shí)的enctype="multipart/form-data"是無效的。稍后下面單獨(dú)對(duì)這個(gè)兩個(gè)的亂碼情況再進(jìn)行說明。

c. 為了避免每頁都要寫request.setCharacterEncoding("UTF-8")，建議使用過濾器對(duì)所有jsp進(jìn)行編碼處理。這個(gè)網(wǎng)上有很多例子。請(qǐng)大家自己查閱。

表單get提交方式的亂碼處理方式

如果使用get方式提交中文，接受參數(shù)的頁面也會(huì)出現(xiàn)亂碼，這個(gè)亂碼的原因也是tomcat的內(nèi)部編碼格式iso8859-1導(dǎo)致。Tomcat會(huì)以get的缺省編碼方式iso8859-1對(duì)漢字進(jìn)行編碼，編碼后追加到url，導(dǎo)致接受頁面得到的參數(shù)為亂碼/、。

解決辦法：

a. 使用上例中的第一種方式，對(duì)接受到的字符進(jìn)行解碼，再轉(zhuǎn)碼。

b. Get走的是url提交，而在進(jìn)入url之前已經(jīng)進(jìn)行了iso8859-1的編碼處理。要想影響這個(gè)編碼則需要在server.xml的Connector節(jié)點(diǎn)增加useBodyEncodingForURI="true"屬性配置，即可控制tomcat對(duì)get方式的漢字編碼方式，上面這個(gè)屬性控制get提交也是用request.setCharacterEncoding("UTF-8")所設(shè)置的編碼格式進(jìn)行編碼。所以自動(dòng)編碼為utf-8，接受頁面正常接受就可以了。但我認(rèn)為真正的編碼過程是，tomcat又要根據(jù)

＜Connector port="8080"maxThreads="150" minSpareThreads="25" maxSpareThreads="75"enableLookups="false" redirectPort="8443" acceptCount="100"debug="0" connectionTimeout="20000" useBodyEncodingForURI="true"disableUploadTimeout="true" URIEncoding=”UTF-8”/＞

里面所設(shè)置的URIEncoding=”UTF-8”再進(jìn)行一次編碼，但是由于已經(jīng)編碼為utf-8，再編碼也不會(huì)有變化了。如果是從url獲取編碼，接受頁面則是根據(jù)URIEncoding=”UTF-8”來進(jìn)行解碼的。

上傳文件時(shí)的亂碼解決

上傳文件時(shí)，form表單設(shè)置的都是enctype="multipart/form-data"。這種方式以流方式提交文件。如果使用apach的上傳組件，會(huì)發(fā)現(xiàn)有很多亂碼想象。這是因?yàn)閍pach的先期commons-fileupload.jar有bug，取出漢字后進(jìn)行解碼，因?yàn)檫@種方式提交，編碼又自動(dòng)使用的是tomcat缺省編碼格式iso-8859-1。但出現(xiàn)的亂碼問題是：句號(hào)，逗號(hào)，等特殊符號(hào)變成了亂碼，漢字如果數(shù)量為奇數(shù)，則會(huì)出現(xiàn)亂碼，偶數(shù)則解析正常。

解決方式：

下載commons-fileupload-1.1.1.jar 這個(gè)版本的jar已經(jīng)解決了這些bug。但是取出內(nèi)容時(shí)仍然需要對(duì)取出的字符進(jìn)行從iso8859-1到utf-8轉(zhuǎn)碼。已經(jīng)能得到正常所有漢字以及字符。

Java代碼關(guān)于url請(qǐng)求，接受參數(shù)的亂碼

url的編碼格式，取決于上面所說的URIEncoding=”UTF-8”。如果設(shè)定了這個(gè)編碼格式，則意味著所有到url的漢字參數(shù)，都必須進(jìn)行編碼才可以。否則得到的漢字參數(shù)值都是亂碼，例如一個(gè)鏈接：

Response.sendDerect（“/a.jsp?name=玫瑰妮子”）；

而在a.jsp里面直接使用 String name = request.getParameter（"name"）；

得到的就是亂碼。因?yàn)橐?guī)定了必須是utf-8才可以，所以，這個(gè)轉(zhuǎn)向應(yīng)該這樣寫：

Response.sendDerect（“/a.jsp?name=URLEncode.encode(“玫瑰妮子”,”utf-8”)；才可以。

如果不設(shè)置這個(gè)參數(shù)URIEncoding=”UTF-8”，會(huì)怎么樣呢? 不設(shè)置則就使用了缺省的編碼格式iso8859-1。問題又出來了，第一就是參數(shù)值的個(gè)數(shù)如果是奇數(shù)個(gè)數(shù)，則就可以正常解析，如果使偶數(shù)個(gè)數(shù)，得到最后字符就是亂碼。還有就是如果最后一個(gè)字符如果是英文，則就能正常解析，但中文的標(biāo)點(diǎn)符號(hào)仍出現(xiàn)亂碼。權(quán)宜之計(jì)，如果您的參數(shù)中沒有中文標(biāo)點(diǎn)符號(hào)，則可以在參數(shù)值最后加一個(gè)英文符號(hào)來解決亂碼問題，得到參數(shù)后再去掉這個(gè)最后面的符號(hào)。也可以湊或使用。

腳本代碼關(guān)于url請(qǐng)求，接受到的參數(shù)亂碼

腳本中也會(huì)進(jìn)行頁面轉(zhuǎn)向的控制，也會(huì)涉及到附帶參數(shù)，并在接受頁面解析這個(gè)參數(shù)的情況。如果這個(gè)漢字參數(shù)不進(jìn)行URIEncoding=”UTF-8”所指定的編碼處理，則接受頁面接受到的漢字也是亂碼。腳本處理編碼比較麻煩，必須有相應(yīng)的編碼腳本對(duì)應(yīng)文件，然后調(diào)用腳本中的方法對(duì)漢字進(jìn)行編碼即可。

關(guān)于jsp在MyEclipse中打開的亂碼問題

對(duì)于一個(gè)已經(jīng)存在的項(xiàng)目，Jsp文件的存儲(chǔ)格式可能是utf-8。如果新安裝的eclipse，則缺省打開使用的編碼格式都是iso8859-1。所以導(dǎo)致jsp里面的漢字出現(xiàn)亂碼。這個(gè)亂碼比較容易解決，直接到eclipse3.1的偏好設(shè)置里面找到general-〉edidor，設(shè)置為您的文件打開編碼為utf-8即可。Eclipse會(huì)自動(dòng)重新以新的編碼格式打開。漢字即可正常顯示。

關(guān)于html頁面在eclipse中打開出現(xiàn)亂碼情況

由于大部分頁面都是由dreamweaver制作，其存儲(chǔ)格式跟eclipse的識(shí)別有差別導(dǎo)致。一般這種情況，在eclipse中新建一個(gè)jsp，直接從dreamweaver復(fù)制頁面內(nèi)容粘貼到j(luò)sp即可。

Java代碼出現(xiàn)了亂碼怎么辦？

運(yùn)行java帶有中文的代碼就出現(xiàn)亂碼，解決方式如下：

設(shè)置整個(gè)java工程的編碼格式為utf-8，如下圖：

設(shè)置html的編碼格式為utf-8

網(wǎng)頁名稱：java代碼網(wǎng)頁亂碼 java頁面亂碼
標(biāo)題網(wǎng)址：http://www.chinadenli.net/article8/dddpgip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、電子商務(wù)、云服務(wù)器、定制開發(fā)、自適應(yīng)網(wǎng)站、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)