測試：利用oozie，執(zhí)行sqoop action將DB2中的數(shù)據(jù)導(dǎo)入到hive分區(qū)表中。

10年積累的成都網(wǎng)站建設(shè)、成都網(wǎng)站制作經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程，更有泰順免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

 

需要注意的地方：

1，要添加hive.metastore.uris這個參數(shù)。否則無法將數(shù)據(jù)加載到hive表中。并且，如果一個xml文本中有多個這種操作的話，每個action中都需要配置這個參數(shù)。

2，要注意XML中的轉(zhuǎn)義字符問題。這里我的sql中，就有一個小于號需要重寫，否則執(zhí)行后會說sql語句不對。

3，因為是分區(qū)表，按照每日分區(qū)，所以要從系統(tǒng)獲取系統(tǒng)時間。這里沒找到其他的可執(zhí)行的方法，就比較麻煩的寫成了這個樣子：${replaceAll(timestamp(),"T.{0,}","")}

4，還要注意xmlns的版本問題。這個時候，多試幾個就好了。

workflow.xml

<?xml version="1.0" encoding="gb2312"?>

<workflow-app name="workID1" xmlns="uri:oozie:workflow:0.5">

    <start to="step0101"/>

    <action name="step0101">

        <sqoop xmlns="uri:oozie:sqoop-action:0.4">

        <configuration>

        <property>

        <name>hive.metastore.uris</name>

        <value>thrift://192.168.20.39:9083</value>

        </property>

        </configuration>

            <arg>import</arg>

            <arg>--connect</arg>

            <arg>jdbc:db2://192.168.20.236:50001/sample</arg>

            <arg>--username</arg>

            <arg>db2inst1</arg>

            <arg>--password</arg>

            <arg>zheshimima</arg>

            <arg>--query</arg>

            <arg>select projno,projname,prstdate from project where prstdate &lt; date(current date)-1 day and $CONDITIONS</arg>

            <arg>--fields-terminated-by</arg>

            <arg>"\t"</arg>

            <arg>--hive-import</arg>

            <arg>--target-dir</arg>

            <arg>/qpf/target-dir/</arg>

            <arg>--hive-table</arg>

            <arg>ceshiku.tb_db2test</arg>

            <arg>--null-string</arg>

            <arg>"\\N"</arg>

            <arg>--null-non-string</arg>

            <arg>"\\N"</arg>

            <arg>--hive-partition-key</arg>

            <arg>shijian</arg>

            <arg>--hive-partition-value</arg>

            <arg>"${replaceAll(timestamp(),"T.{0,}","")}"</arg>

            <arg>-m</arg>

            <arg>1</arg>    

        </sqoop>

        <ok to="end"/>

        <error to="Kill0101" />

    </action>

    <kill name="Kill0101">

        <message>Action failed,step01 error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

    </kill> 

    <end name="end"/>

</workflow-app>

新聞標(biāo)題：利用oozie，執(zhí)行sqoopaction將DB2中的數(shù)據(jù)導(dǎo)入到hive分區(qū)表中
轉(zhuǎn)載來源：http://www.chinadenli.net/article6/gepcog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、商城網(wǎng)站、搜索引擎優(yōu)化、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)