本篇文章給大家分享的是有關(guān)Spring Batch并行處理四種模式分別是什么,小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站建設(shè)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的石獅網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
大多數(shù)情況下,單線程、單進(jìn)程的Spring Batch已經(jīng)能滿足你的需求。在我們走向更復(fù)雜的特性之前,先看看簡單的能不能用,Keep it Simple and Stupid。
不過,當(dāng)你確定要使用并行處理時(shí),Spring Batch也提供了多種選擇。整體上分為兩大類:
(1)單進(jìn)程、多線程
(2)多進(jìn)程
細(xì)分如下:
(1)多線程的Step(單進(jìn)程)
(2)并行的Steps(單進(jìn)程)
(3)遠(yuǎn)程分塊(多進(jìn)程)
(4)遠(yuǎn)程分區(qū)(多進(jìn)程)
光從名字看,很難理解它們之間的差別,我們來一一介紹吧。
通過提供一個(gè)TaskExecutor來執(zhí)行,而TaskExecutor是可以自定義的,我們可以提供一個(gè)基于線程池的TaskExecutor,則可以實(shí)現(xiàn)多線程處理。
@Bean
public TaskExecutor taskExecutor(){
return new SimpleAsyncTaskExecutor("spring_batch");
}
@Bean
public Step sampleStep(TaskExecutor taskExecutor) {
return this.stepBuilderFactory.get("sampleStep")
.<String, String>chunk(10)
.reader(itemReader())
.writer(itemWriter())
.taskExecutor(taskExecutor)
.build();
}這個(gè)看起來跟第一個(gè)很像,其實(shí)完全不一樣。它是多個(gè)steps之間來并行處理。所以job應(yīng)該是可以分解為獨(dú)立的step,不是按一步一步的順序處理,這樣才可以并行執(zhí)行。比如下面的例子,step1和step2合并成一個(gè)flow1,而step3為flow2,flow1與flow2之間可以并行處理。

代碼如下:
@Bean
public Job job() {
return jobBuilderFactory.get("job")
.start(splitFlow())
.next(step4())
.build() //builds FlowJobBuilder instance
.build(); //builds Job instance
}
@Bean
public Flow splitFlow() {
return new FlowBuilder<SimpleFlow>("splitFlow")
.split(taskExecutor())
.add(flow1(), flow2())
.build();
}
@Bean
public Flow flow1() {
return new FlowBuilder<SimpleFlow>("flow1")
.start(step1())
.next(step2())
.build();
}
@Bean
public Flow flow2() {
return new FlowBuilder<SimpleFlow>("flow2")
.start(step3())
.build();
}
@Bean
public TaskExecutor taskExecutor(){
return new SimpleAsyncTaskExecutor("spring_batch");
}在這種模式下,step會(huì)被拆成多個(gè)Java進(jìn)程來處理,主程序與分塊執(zhí)行程序之間通過中間件來通信。如下圖所示:

由上圖可以看出,讀取只有一個(gè)進(jìn)程Manager,而處理進(jìn)程Worker則可以多個(gè),所以適用于易讀而難處理的場景。

遠(yuǎn)程分區(qū)跟遠(yuǎn)程分塊容易混淆,但其實(shí)它們是不同的。前面講解的遠(yuǎn)程分塊是一個(gè)進(jìn)程讀,多個(gè)進(jìn)程處理;而遠(yuǎn)程分區(qū)是多個(gè)進(jìn)程讀,多個(gè)進(jìn)程處理,多個(gè)進(jìn)程寫:

所以,遠(yuǎn)程分區(qū)適用于容易有IO瓶頸的系統(tǒng),因?yàn)樗鼘⒆x與寫都拆到多個(gè)worker進(jìn)程中去了。遠(yuǎn)程分區(qū)可以使用中間件,如消息隊(duì)列,也可以不用。它通過PartitionHandler來進(jìn)行分區(qū)處理,而Partitioner則定義了如何進(jìn)行分區(qū)。
上面介紹了Spring Batch并行處理的四種模式,分別是多線程Step、并行Steps、遠(yuǎn)程分塊、遠(yuǎn)程分區(qū)。前兩種比較簡單,給出代碼例子;而后兩種則復(fù)雜得多,特別是遠(yuǎn)程分區(qū)模式,把IO壓力和業(yè)務(wù)處理壓力都分解了,能大大提高整個(gè)流程的處理效率。
以上就是Spring Batch并行處理四種模式分別是什么,小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘9ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
當(dāng)前題目:SpringBatch并行處理四種模式分別是什么
文章鏈接:http://www.chinadenli.net/article0/gcscoo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站、小程序開發(fā)、網(wǎng)站改版、移動(dòng)網(wǎng)站建設(shè)、營銷型網(wǎng)站建設(shè)、網(wǎng)站收錄
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)