欧美一区二区三区老妇人-欧美做爰猛烈大尺度电-99久久夜色精品国产亚洲a-亚洲福利视频一区二区

SpringBatch并行處理四種模式分別是什么

本篇文章給大家分享的是有關(guān)Spring Batch并行處理四種模式分別是什么,小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。

成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站建設(shè)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的石獅網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!

1  四種模式

大多數(shù)情況下,單線程、單進(jìn)程的Spring Batch已經(jīng)能滿足你的需求。在我們走向更復(fù)雜的特性之前,先看看簡單的能不能用,Keep it Simple and Stupid

不過,當(dāng)你確定要使用并行處理時(shí),Spring Batch也提供了多種選擇。整體上分為兩大類:

  • (1)單進(jìn)程、多線程

  • (2)多進(jìn)程

細(xì)分如下:

  • (1)多線程的Step(單進(jìn)程)

  • (2)并行的Steps(單進(jìn)程)

  • (3)遠(yuǎn)程分塊(多進(jìn)程)

  • (4)遠(yuǎn)程分區(qū)(多進(jìn)程)

光從名字看,很難理解它們之間的差別,我們來一一介紹吧。

1.1 多線程的Step

通過提供一個(gè)TaskExecutor來執(zhí)行,而TaskExecutor是可以自定義的,我們可以提供一個(gè)基于線程池的TaskExecutor,則可以實(shí)現(xiàn)多線程處理。

@Bean
public TaskExecutor taskExecutor(){
  return new SimpleAsyncTaskExecutor("spring_batch");
}

@Bean
public Step sampleStep(TaskExecutor taskExecutor) {
  return this.stepBuilderFactory.get("sampleStep")
    .<String, String>chunk(10)
    .reader(itemReader())
    .writer(itemWriter())
    .taskExecutor(taskExecutor)
    .build();
}

1.2 并行Steps

這個(gè)看起來跟第一個(gè)很像,其實(shí)完全不一樣。它是多個(gè)steps之間來并行處理。所以job應(yīng)該是可以分解為獨(dú)立的step,不是按一步一步的順序處理,這樣才可以并行執(zhí)行。比如下面的例子,step1step2合并成一個(gè)flow1,而step3flow2flow1flow2之間可以并行處理。

Spring Batch并行處理四種模式分別是什么

代碼如下:

@Bean
public Job job() {
  return jobBuilderFactory.get("job")
    .start(splitFlow())
    .next(step4())
    .build()        //builds FlowJobBuilder instance
    .build();       //builds Job instance
}

@Bean
public Flow splitFlow() {
  return new FlowBuilder<SimpleFlow>("splitFlow")
    .split(taskExecutor())
    .add(flow1(), flow2())
    .build();
}

@Bean
public Flow flow1() {
  return new FlowBuilder<SimpleFlow>("flow1")
    .start(step1())
    .next(step2())
    .build();
}

@Bean
public Flow flow2() {
  return new FlowBuilder<SimpleFlow>("flow2")
    .start(step3())
    .build();
}

@Bean
public TaskExecutor taskExecutor(){
  return new SimpleAsyncTaskExecutor("spring_batch");
}

1.3 遠(yuǎn)程分塊

在這種模式下,step會(huì)被拆成多個(gè)Java進(jìn)程來處理,主程序與分塊執(zhí)行程序之間通過中間件來通信。如下圖所示:

Spring Batch并行處理四種模式分別是什么

由上圖可以看出,讀取只有一個(gè)進(jìn)程Manager,而處理進(jìn)程Worker則可以多個(gè),所以適用于易讀而難處理的場景。

Spring Batch并行處理四種模式分別是什么

1.4 遠(yuǎn)程分區(qū)

遠(yuǎn)程分區(qū)遠(yuǎn)程分塊容易混淆,但其實(shí)它們是不同的。前面講解的遠(yuǎn)程分塊是一個(gè)進(jìn)程讀,多個(gè)進(jìn)程處理;而遠(yuǎn)程分區(qū)是多個(gè)進(jìn)程讀,多個(gè)進(jìn)程處理,多個(gè)進(jìn)程寫:

Spring Batch并行處理四種模式分別是什么

所以,遠(yuǎn)程分區(qū)適用于容易有IO瓶頸的系統(tǒng),因?yàn)樗鼘⒆x與寫都拆到多個(gè)worker進(jìn)程中去了。遠(yuǎn)程分區(qū)可以使用中間件,如消息隊(duì)列,也可以不用。它通過PartitionHandler來進(jìn)行分區(qū)處理,而Partitioner則定義了如何進(jìn)行分區(qū)。

上面介紹了Spring Batch并行處理的四種模式,分別是多線程Step、并行Steps、遠(yuǎn)程分塊、遠(yuǎn)程分區(qū)。前兩種比較簡單,給出代碼例子;而后兩種則復(fù)雜得多,特別是遠(yuǎn)程分區(qū)模式,把IO壓力和業(yè)務(wù)處理壓力都分解了,能大大提高整個(gè)流程的處理效率。

以上就是Spring Batch并行處理四種模式分別是什么,小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘9ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前題目:SpringBatch并行處理四種模式分別是什么
文章鏈接:http://www.chinadenli.net/article0/gcscoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站小程序開發(fā)網(wǎng)站改版移動(dòng)網(wǎng)站建設(shè)營銷型網(wǎng)站建設(shè)網(wǎng)站收錄

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司