公司主營業(yè)務：網(wǎng)站設計制作、做網(wǎng)站、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出長海免費做網(wǎng)站回饋大家。

A公司專注為各種規(guī)模和復雜程度的金融投資機構提供一體化投資管理系統(tǒng)，系統(tǒng)主要由投資組合管理、交易執(zhí)行管理、實時監(jiān)控管理、風險管理等功能模塊構成。隨著企業(yè)管理產(chǎn)品數(shù)量的不斷增多，大量數(shù)據(jù)分散在各券商系統(tǒng)中且數(shù)據(jù)存儲格式各異，難以管理和利用。

為幫助投資機構最大限度地提高投資決策和運營效率，A公司需要實時監(jiān)控自己的用戶在各個交易平臺的基本信息、余額、訂單交易情況，并根據(jù)分析結果及時給出投資建議。

A公司的這種情況并不是個例。目前，越來越多的企業(yè)在數(shù)據(jù)傳輸?shù)男枨髨鼍爸校藦纳嫌尾煌瑯I(yè)務數(shù)據(jù)庫中實時、定時分配到下游系統(tǒng)之外，還有許多需求場景需要從外部合作商、供應商中獲取業(yè)務數(shù)據(jù)。

如果想要每天從企業(yè)外部系統(tǒng)中獲取數(shù)據(jù)，通常會采用什么方法呢？

一些用戶給出的答案是：根據(jù)需要編寫不同的腳本，手動調用第三方系統(tǒng)提供的API接口，在抓取數(shù)據(jù)后，自行編寫清洗邏輯，最后實現(xiàn)數(shù)據(jù)落地。

然而隨著第三方系統(tǒng)的日益增多，如果按原有方式會帶來過多的腳本維護成本和數(shù)據(jù)傳輸任務管理成本。為解決上述痛點，DataPipeline在新版本的數(shù)據(jù)同步任務中增加了「自定義數(shù)據(jù)源」功能，用戶可以通過上傳JAR包的方式自定義獲取數(shù)據(jù)邏輯。新功能支持任意的MySQL、Oracle、SQLServer、Hive、HBase等常見數(shù)據(jù)源，冷門數(shù)據(jù)庫等（如騰訊云TDSQL），常用的API調用，用戶自定義的SDK，或者通過Python抓取數(shù)據(jù)等。

一、「自定義數(shù)據(jù)源」提供的價值

1 通過「自定義數(shù)據(jù)源」，用戶可以：

• 統(tǒng)一管理數(shù)據(jù)獲取邏輯，快速合并JAR減少腳本開發(fā)量。

• 當上游發(fā)生變化時，不需要對每一個數(shù)據(jù)傳輸任務進行調整。

• 可結合DataPipeline的數(shù)據(jù)解析功能、清洗工具和目標初始化功能減少整體開發(fā)量，并提供監(jiān)控和預警。

2 如何使用「自定義數(shù)據(jù)源」功能

用戶可通過以下四步使用「自定義數(shù)據(jù)源」功能：

• 創(chuàng)建自定義數(shù)據(jù)源，并上傳JAR包（或調取已上傳過的JAR包）。

• 選擇數(shù)據(jù)存放的目的地。

• 使用清洗工具完成數(shù)據(jù)解析邏輯。

• 配置目的地表結構，即可完成所有配置。

3 關于「自定義數(shù)據(jù)源」的核心頁面：

（1）用戶在選擇自定義數(shù)據(jù)源和目的地后，需要在讀取設置步驟中上傳JAR包

• 用戶可以上傳新的JAR包，也可以點擊拖放框選擇歷史已經(jīng)上傳的JAR用作本次任務。

• 用戶通過填充類路徑和讀取數(shù)據(jù)所需要的配置信息即可完成數(shù)據(jù)源讀取邏輯。

（2） 用戶可以在一個任務中選擇一個或多個讀取對象，每個讀取對象可以映射到目標表的表中

（3）完成讀取設置后，在寫入設置步驟中先確定每個讀取對象的數(shù)據(jù)解析邏輯

• DataPipeline會提供JSON解析樣例，用戶也可以參考樣例，自定義解析邏輯。

• 「樣例數(shù)據(jù)」模塊會顯示通過讀取對象配置獲取的數(shù)據(jù)。

• 完成清洗腳本內容后，在「運行結果」模塊點擊「試運行」即可看到最終寫入到目的地的數(shù)據(jù)格式。

4 完成解析邏輯后，用戶可以手動添加名稱并選擇對應的數(shù)據(jù)類型 ，來完成目的地表結構

• 完成所有配置后點擊「立即激活」即可執(zhí)行數(shù)據(jù)傳輸任務。

DataPipeline每一次版本的迭代都凝聚了團隊對企業(yè)數(shù)據(jù)使用需求的深入思索，其它新功能還在路上，很快就會跟大家見面了，希望能夠切實幫助大家更敏捷高效地獲取數(shù)據(jù)。

新聞標題：DataPipeline丨「自定義」數(shù)據(jù)源，解決復雜請求邏輯
當前路徑：http://www.chinadenli.net/article18/pegdgp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供關鍵詞優(yōu)化、小程序開發(fā)、Google、手機網(wǎng)站建設、定制開發(fā)、網(wǎng)站內鏈

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)