這篇文章將為大家詳細(xì)講解有關(guān)HBase如何增量備份的python腳本,小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考,希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)從2013年成立,先為江北等服務(wù)建站,江北等地企業(yè),進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為江北企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。
HBase自帶的export/import機(jī)制可以實(shí)現(xiàn)BackupRestore功能。而且可以實(shí)現(xiàn)增量備份。
HBase怎樣增量備份的python腳本
在這個(gè)腳本中,每天做增量備份,每個(gè)月15日做全備份。
importtime importdatetime fromdatetimeimportdate importsys importos tablename=sys.argv[1] backupDst=sys.argv[2] today=date.today() iftoday.day==15://everymonth,wedoafullbackup backupSubFolder=backupDst+today.isoformat()+"-full" cmd="hbaseorg.apache.hadoop.hbase.mapreduce.Export%s%s"%(tablename,backupSubFolder) else: yesterday=datetime.date.today()-datetime.timedelta(days=1) todayTimeStamp=time.mktime(today.timetuple()) yesTimeStamp=time.mktime(yesterday.timetuple()) backupSubFolder=backupDst+today.isoformat() cmd="hbaseorg.apache.hadoop.hbase.mapreduce.Export%s%s%s"%(tablename,backupSubFolder,str(int(todayTimeStamp)*1000) printcmd os.system(cmd)
HBase怎樣增量備份的python腳本
而Restore機(jī)制就更加簡(jiǎn)單
hbaseorg.apache.hadoop.hbase.mapreduce.Importtablenamerestorefolder
要注意的是,做Restore時(shí)候,原始的表必須是創(chuàng)建好的。所以如果表本身被損壞,需要重新創(chuàng)建一個(gè)新的空表,再做Restore。
還有,必須在Hadoop-env.sh中配置好hbase和Zookeeper的路徑,加上這樣的語(yǔ)句
exportHADOOP_CLASSPATH="/usr/lib/hadoop-hbase/hbaseXXX.jar:/usr/lib/hadoop-hbase/lib/zookeeperXXX.jar:/etc/hadoop-hbase/conf"
把這個(gè)加到crontab里面,就可以實(shí)現(xiàn)每天定時(shí)備份了。
關(guān)于“HBase如何增量備份的python腳本”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,使各位可以學(xué)到更多知識(shí),如果覺(jué)得文章不錯(cuò),請(qǐng)把它分享出去讓更多的人看到。
分享題目:HBase如何增量備份的python腳本
文章出自:http://www.chinadenli.net/article18/gcsegp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站維護(hù)、軟件開(kāi)發(fā)、建站公司、品牌網(wǎng)站設(shè)計(jì)、手機(jī)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)