這篇文章主要介紹“spark讀取hbase的數(shù)據(jù)實(shí)例代碼”，在日常操作中，相信很多人在spark讀取hbase的數(shù)據(jù)實(shí)例代碼問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”spark讀取hbase的數(shù)據(jù)實(shí)例代碼”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)公司專注于黃山企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,成都做商城網(wǎng)站。黃山網(wǎng)站建設(shè)公司,為黃山等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站制作，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

package hgs.spark.hbase
///tupian/20230522/52675901
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.client.Scan
import org.apache.hadoop.hbase.filter.FilterList
import org.apache.hadoop.hbase.filter.FilterList.Operator
import org.apache.hadoop.hbase.filter.RowFilter
import org.apache.hadoop.hbase.filter.RegexStringComparator
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp
import org.apache.hadoop.hbase.protobuf.ProtobufUtil
import org.apache.hadoop.hbase.util.Base64
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.filter.LongComparator
object HbaseToSpark {
  def main(args: Array[String]): Unit = {
    //System.setProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    val conf = new SparkConf
    
    conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    conf.setMaster("local").setAppName("hbasedata")
    
    val context =  new SparkContext(conf)
    //hbase配置
    val hconf =  new HBaseConfiguration
    hconf.set("hbase.zookeeper.quorum", "bigdata00:2181,bigdata01:2181,bigdata02:2181")
    hconf.set("hbase.zookeeper.property.clientPort", "2181")
    hconf.set(TableInputFormat.INPUT_TABLE, "test")
    val scan = new Scan
    //掃描的表rowkey的開(kāi)始和結(jié)束
    scan.setStartRow("1991".getBytes)
    scan.setStopRow("3000".getBytes)
    //val list = new FilterList(Operator.MUST_PASS_ALL)
    //val filter1 = new RowFilter(CompareOp.GREATER_OR_EQUAL,new LongComparator(1991))
    //val filter2 = new RowFilter(CompareOp.LESS_OR_EQUAL,new RegexStringComparator("3000*"))
    
   // list.addFilter(filter1)
   // list.addFilter(filter2)
   //scan.setFilter(list)
    //添加scan
    hconf.set(TableInputFormat.SCAN, convertScanToString(scan))
    
    val hrdd = context.newAPIHadoopRDD(hconf,
        classOf[TableInputFormat],
        classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],  
        classOf[org.apache.hadoop.hbase.client.Result])
        
    val resultrdd = hrdd.repartition(2)
    //打印結(jié)果
    resultrdd.foreach{case(_,value)=>{
        val key = Bytes.toString(value.getRow)
        val name = Bytes.toString(value.getValue("cf1".getBytes, "name".getBytes))
        val age = Bytes.toString(value.getValue("cf1".getBytes, "age".getBytes))
        println("rowkey:"+key+" "+"name:"+name+" "+"age:"+age)
      }
    }
    
    context.stop()
    
  }
  
    def convertScanToString(scan: Scan) = {
    val proto = ProtobufUtil.toScan(scan)
    Base64.encodeBytes(proto.toByteArray)
  }
    
}

到此，關(guān)于“spark讀取hbase的數(shù)據(jù)實(shí)例代碼”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

當(dāng)前名稱：spark讀取hbase的數(shù)據(jù)實(shí)例代碼-創(chuàng)新互聯(lián)
分享路徑：http://www.chinadenli.net/article10/jipgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、網(wǎng)站收錄、企業(yè)建站、關(guān)鍵詞優(yōu)化、網(wǎng)站排名、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)