如何進(jìn)行多次修改CDH集群關(guān)聯(lián)的Kerberos域后Spark無法正常獲得短名稱映射的問題排查，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

成都創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站建設(shè)、網(wǎng)站制作與策劃設(shè)計,克東網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:克東等地區(qū)。克東做網(wǎng)站價格咨詢:18982081108

環(huán)境：

CDH 6.3.1

Oracle JDK 1.8.0_181

已開啟Kerberos

癥狀表現(xiàn)：

該集群曾經(jīng)更換了關(guān)聯(lián)的Kerberos域名稱，由XY.COM.CN改為了XY.COM。

現(xiàn)在又重新進(jìn)行了更換，由XY.COM重新改為了XY.COM.CN。

修改完成后，集群重啟，Cloudera Manager（以下簡稱CM）顯示一切正常。

但是在使用Spark的過程中，發(fā)現(xiàn)在非Kerberos服務(wù)端的節(jié)點，執(zhí)行spark的命令行工具（包括spark-shell、spark-submit等），就直接報錯。提示獲取短名稱的規(guī)則不存在：

[main] util.KerberosName(KerberosName.java:getShortName(401)) - No auth_to_local rules applied to cloudera-scm/admin@XY.COM does not exist

解決過程：

從報錯信息來看，spark-shell仍然嘗試用之前的Kerberos域名來進(jìn)行短名稱映射。

可以看到報錯信息中，getShortName方法還是會去找Kerberos域“XY.COM”對應(yīng)的解析規(guī)則；然而現(xiàn)在這個Kerberos域XY.COM實際已經(jīng)不存在，現(xiàn)在的規(guī)則是對應(yīng)XY.COM.CN的，所以自然無法對cloudera-scm/admin@XY.COM應(yīng)用有效的短名稱規(guī)則。

CDH中，spark的命令行工具都是默認(rèn)讀取CM下發(fā)的配置文件，那么首先推測的情況，就有可能是集群關(guān)聯(lián)的Kerberos域修改后，CM沒有成功下發(fā)新的客戶端配置。

嘗試在CM界面刷新和重新部署各個服務(wù)的客戶端。但是沒有效果。還是會報同樣的錯誤。

此時推斷是CM本身在應(yīng)對已經(jīng)實施Kerberos安全的集群的Kerberos域修改時，下發(fā)客戶端配置的部分存在一些問題，導(dǎo)致沒有成功分發(fā)正確的配置文件。

那么我們必須找到一個能觸發(fā)涉及Kerberos主體映射相關(guān)配置文件下發(fā)的選項，修改后重新進(jìn)行下發(fā)，讓正確的配置覆蓋目前節(jié)點上的客戶端配置文件。

打開CM，找到HDFS服務(wù)，找到配置項中的“將 Kerberos 主體映射到短名稱的其他規(guī)則”。

該選項本來是留給不符合標(biāo)準(zhǔn)Kerberos命名方式的主體自定義短名稱映射用的。正常情況下，只要是標(biāo)準(zhǔn)的Kerberos主體名稱形式（例如hive/manager1@XY.COM.CN，或者h(yuǎn)ive@XY.COM.CN），這個選項的默認(rèn)值“DEFAULT”就能正確拿到用戶名（例如hive/manager1@XY.COM.CN會被最終映射為短名稱hive），不需要我們手工再指定。

因為HDFS是所有其他服務(wù)組件都要依賴的核心組件，我們通過這個選項的修改，肯定會觸發(fā)所有涉及認(rèn)證的服務(wù)的客戶端部署。

填入自定義映射規(guī)則的內(nèi)容，進(jìn)行保存，這個自定義映射規(guī)則實際等同于“DEFAULT”的效果：

RULE:[1:$1@$0](.*@\XY.COM.CN)s/@\XY.COM.CN//RULE:[2:$1@$0](.*@\XY.COM.CN)s/@\XY.COM.CN//

點擊保存。提示重啟服務(wù)，這時勾選上重新部署客戶端。

重啟完成后，重新運行spark-shell，一切正常！問題解決。

看完上述內(nèi)容，你們掌握如何進(jìn)行多次修改CDH集群關(guān)聯(lián)的Kerberos域后Spark無法正常獲得短名稱映射的問題排查的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

文章名稱：如何進(jìn)行多次修改CDH集群關(guān)聯(lián)的Kerberos域后Spark無法正常獲得短名稱映射的問題排查
網(wǎng)站路徑：http://www.chinadenli.net/article38/pgdcpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、微信小程序、手機網(wǎng)站建設(shè)、動態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)