這篇文章主要介紹了java如何實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)CupCnn，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)公司是一家以重慶網(wǎng)站建設(shè)公司、網(wǎng)頁(yè)設(shè)計(jì)、品牌設(shè)計(jì)、軟件運(yùn)維、seo優(yōu)化、小程序App開(kāi)發(fā)等移動(dòng)開(kāi)發(fā)為一體互聯(lián)網(wǎng)公司。已累計(jì)為成都發(fā)電機(jī)維修等眾行業(yè)中小客戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)建站和軟件開(kāi)發(fā)服務(wù)。

什么是CupCnn

CupCnn是個(gè)用java寫(xiě)的卷積神經(jīng)網(wǎng)絡(luò)，我在工作之余，為了加深對(duì)卷積神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)，實(shí)現(xiàn)了它。它足夠簡(jiǎn)潔，表現(xiàn)也不錯(cuò)，非常適合初學(xué)者參考使用。

設(shè)計(jì)的思路

我希望它是以足夠簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，這樣有利于初學(xué)者學(xué)習(xí)。所以我沒(méi)有實(shí)現(xiàn)那些并發(fā)加速的東西，這保證的代碼的簡(jiǎn)介性。設(shè)計(jì)的時(shí)候，我將卷積神經(jīng)網(wǎng)絡(luò)分為四個(gè)模塊：Network（layer blob loss active），這點(diǎn)可以從包名中看出來(lái)。layer,loss,active都有一個(gè)基類，整個(gè)神經(jīng)網(wǎng)絡(luò)的編程都是面向基類的。Network是綜合這四個(gè)模塊，統(tǒng)籌和調(diào)度資源的中心，每個(gè)layer都會(huì)有一個(gè)Network的實(shí)例，這樣可以輕松的通過(guò)Network獲得各種數(shù)據(jù)，比如獲取每一層的輸出，diff等。
設(shè)計(jì)框圖如下：

參數(shù)的保存對(duì)于java而言就非常簡(jiǎn)單了，實(shí)現(xiàn)Serializable接口就可以快速實(shí)現(xiàn)參數(shù)的序列化和反序列化。CupCnn只對(duì)data目錄下的Blob和BlobParams兩個(gè)實(shí)現(xiàn)了Serializable接口，所有的參數(shù)都由這兩個(gè)實(shí)現(xiàn)。

目前的表現(xiàn)

全連接神經(jīng)網(wǎng)絡(luò)

目前，在mnist數(shù)據(jù)集上，全連接神經(jīng)網(wǎng)絡(luò)（全連接（100）+全連接（30）+全連接（10）+softmax），訓(xùn)練30個(gè)epoes,準(zhǔn)確率為96.76

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（6個(gè)特征）+大值池化+卷積（6個(gè)特征）+全連接（512）+全連接（30）+全連接（10）+softmax）,在學(xué)習(xí)速率為0.2的情況下，訓(xùn)練30個(gè)epoes,準(zhǔn)確率為97.79.我相信經(jīng)過(guò)進(jìn)一步參數(shù)調(diào)優(yōu)，在充分訓(xùn)練的情況下，準(zhǔn)確率能達(dá)到更高。

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練快照如下：

begin train
epoe: 0 lossValue: 2.3019369891560455   lr: 0.2  accuracy is 0.13
epoe: 0 lossValue: 2.0722489482105195   lr: 0.2  accuracy is 0.44
epoe: 0 lossValue: 1.2423286194012682   lr: 0.2  accuracy is 0.72
epoe: 0 lossValue: 0.7860529560675255   lr: 0.2  accuracy is 0.79
epoe: 0 lossValue: 0.6272194196176664   lr: 0.2  accuracy is 0.87
epoe: 0 lossValue: 0.5240051326725808   lr: 0.2  accuracy is 0.84
epoe: 0 lossValue: 0.27637563581928026   lr: 0.2  accuracy is 0.95
epoe: 0 lossValue: 0.35585388987055083   lr: 0.2  accuracy is 0.92
epoe: 0 lossValue: 0.441971528417802   lr: 0.2  accuracy is 0.92
epoe: 0 lossValue: 0.25637710325999674   lr: 0.2  accuracy is 0.95
epoe: 0 lossValue: 0.39872273532502   lr: 0.2  accuracy is 0.9
epoe: 1 lossValue: 0.264085484522027   lr: 0.16000000000000003  accuracy is 0.91
epoe: 1 lossValue: 0.22754066024803088   lr: 0.16000000000000003  accuracy is 0.96
epoe: 1 lossValue: 0.30256420975577103   lr: 0.16000000000000003  accuracy is 0.96
epoe: 1 lossValue: 0.18149648622985948   lr: 0.16000000000000003  accuracy is 0.99
epoe: 1 lossValue: 0.177239938748327   lr: 0.16000000000000003  accuracy is 0.96
epoe: 1 lossValue: 0.15041993009777443   lr: 0.16000000000000003  accuracy is 0.98
epoe: 1 lossValue: 0.10759545752665524   lr: 0.16000000000000003  accuracy is 1.0

CupCnn的使用

目前，CupCnn實(shí)現(xiàn)了mnist數(shù)據(jù)集上的測(cè)試，在src/test下，MnistTest是main函數(shù)的入口，具體的神經(jīng)網(wǎng)絡(luò)的搭建在MnistNetwork類中。在MnistNetwork類中，buildConvNetwork和buildFcNetwork分別實(shí)現(xiàn)
了搭建卷積神經(jīng)網(wǎng)絡(luò)和搭建全連接神經(jīng)網(wǎng)絡(luò)。得益于java良好的跨平臺(tái)屬性，你下載完CupCnn的源碼后，使用eclipse打開(kāi)該項(xiàng)目，然后直接運(yùn)行，應(yīng)該就能開(kāi)始在mnist數(shù)據(jù)集上訓(xùn)練和測(cè)試了。

構(gòu)建神經(jīng)網(wǎng)絡(luò)

  public void buildNetwork(){
    //首先構(gòu)建神經(jīng)網(wǎng)絡(luò)對(duì)象，并設(shè)置參數(shù)
    network = new Network();
    network.setBatch(100);
    network.setLoss(new LogLikeHoodLoss());
    //network.setLoss(new CrossEntropyLoss());
    optimizer = new SGDOptimizer(0.2);
    network.setOptimizer(optimizer);

    //buildFcNetwork();
    buildConvNetwork();

    network.prepare();
  }

setBatch（）函數(shù)設(shè)置一個(gè)批次里有多少?gòu)垐D片。

setLoss（）設(shè)置要是用的損失函數(shù)。CupCnn實(shí)現(xiàn)了交叉熵?fù)p失函數(shù)和對(duì)數(shù)似然損失函數(shù)。

setOptimizer（）設(shè)置要是用的優(yōu)化器。CupCnn只實(shí)現(xiàn)了SGD優(yōu)化器，如果您實(shí)現(xiàn)了更好的優(yōu)化器，并且愿意提交到CupCnn,那本人深表歡迎。

構(gòu)建全連接神經(jīng)網(wǎng)絡(luò)

  private void buildFcNetwork(){
    //給network添加網(wǎng)絡(luò)層
    InputLayer layer1 = new InputLayer(network,new BlobParams(network.getBatch(),1,28,28));
    network.addLayer(layer1);
    FullConnectionLayer layer2 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),784,1,1));
    layer2.setActivationFunc(new ReluActivationFunc());
    network.addLayer(layer2);
    FullConnectionLayer layer3 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),100,1,1));
    layer3.setActivationFunc(new ReluActivationFunc());
    network.addLayer(layer3);
    FullConnectionLayer layer4 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),30,1,1));
    layer4.setActivationFunc(new SigmodActivationFunc());
    network.addLayer(layer4);
    FullConnectionLayer layer5 = new FullConnectionLayer(network,new BlobParams(network.getBatch(),10,1,1));
    layer5.setActivationFunc(new ReluActivationFunc());
    network.addLayer(layer5);
    SoftMaxLayer sflayer = new SoftMaxLayer(network,new BlobParams(network.getBatch(),10,1,1));
    network.addLayer(sflayer);
  }

正如上面代碼展示的一樣，每一個(gè)Layer都需要一個(gè)network,它是Network的實(shí)例，Network是全局的管理者和資源的調(diào)度者，有了Network的引用，我們可以輕易的獲得到每一層的輸出的數(shù)據(jù)，輸出的誤差等。此外，每一層都需要一個(gè)指定當(dāng)前層輸出數(shù)據(jù)塊大小的參數(shù)，該參數(shù)告訴某一層你需要輸出多少數(shù)據(jù)。比如神經(jīng)網(wǎng)絡(luò)的最后一層是SoftMaxLayer ，它需要輸出到底是哪個(gè)數(shù)字，這個(gè)數(shù)字用長(zhǎng)度為10的向量表示，比如數(shù)字7，那么SoftMaxLayer 應(yīng)該輸出第8個(gè)元素的值為1，其他元素的值為0。卷積層和池化層需要更多的參數(shù)，因?yàn)樗麄兌加幸粋€(gè)kernel,對(duì)卷積層而言，它叫卷積核，卷積層的實(shí)現(xiàn)每此每個(gè)方向的stride也就是步長(zhǎng)都是1，這點(diǎn)還有改進(jìn)的余地。對(duì)于池化層，你出來(lái)需要傳入池化核的參數(shù)外，還需要傳入水平方向和垂直方向的步長(zhǎng)，這是必須的。

訓(xùn)練和測(cè)試

搭建好神經(jīng)網(wǎng)絡(luò)后，你需要調(diào)用network.prepare()方法，該方法會(huì)根據(jù)每一層的數(shù)據(jù)參數(shù)創(chuàng)建輸出數(shù)據(jù)塊和誤差數(shù)據(jù)塊。因此該方法的調(diào)用是必須的。

  public void train(List<DigitImage> imgList,int epoes){
    System.out.println("begin train");
    int batch = network.getBatch();
    double loclaLr = optimizer.getLr();
    for(int e=0;e<epoes;e++){
      Collections.shuffle(imgList);
      for(int i=0;i<imgList.size()-batch;i+=batch){
        List<Blob> inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);
        double lossValue = network.train(inputAndLabel.get(0), inputAndLabel.get(1));

        if(i>batch && i/batch%50==0){
          System.out.print("epoe: "+e+" lossValue: "+lossValue+" "+" lr: "+optimizer.getLr()+" ");
          testInner(inputAndLabel.get(0), inputAndLabel.get(1));
        }
      }

      if(loclaLr>0.001){
        loclaLr*=0.8;
        optimizer.setLr(loclaLr);
      }
    }
  }

  public void test(List<DigitImage> imgList){
    System.out.println("begin test");
    int batch = network.getBatch();
    int correctCount = 0;
    int i = 0;
    for(i=0;i<imgList.size()-batch;i+=batch){
      List<Blob> inputAndLabel = buildBlobByImageList(imgList,i,batch,1,28,28);
      Blob output = network.predict(inputAndLabel.get(0));
      int[] calOutLabels = getBatchOutputLabel(output.getData());
      int[] realLabels = getBatchOutputLabel(inputAndLabel.get(1).getData());
      for(int kk=0;kk<calOutLabels.length;kk++){
        if(calOutLabels[kk] == realLabels[kk]){
          correctCount++;
        }
      }
    }

    double accuracy = correctCount/(1.0*i+batch);
    System.out.println("test accuracy is "+accuracy+" correctCount "+correctCount);
  }

 如上，調(diào)用Network的 train即可訓(xùn)練，調(diào)用Network的predict方法即可測(cè)試。

參數(shù)的保存和加載

  public void saveModel(String name){
    network.saveModel(name);
  }

  public void loadModel(String name){
    network = new Network();
    network.loadModel(name);
    network.prepare();
  }

調(diào)用Network的saveModel和loadModel可分別實(shí)現(xiàn)參數(shù)的保存和加載，你只需要傳入一個(gè)文件名即可。當(dāng)我們通過(guò)保存的參數(shù)創(chuàng)建神經(jīng)網(wǎng)絡(luò)的時(shí)候，我們需要先new 一個(gè)Network，然后調(diào)用這個(gè)network的loadModel加載已保存的參數(shù)，然后不要忘記調(diào)用prepare方法創(chuàng)建每一層的輸出數(shù)據(jù)塊和誤差數(shù)據(jù)塊。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“java如何實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)CupCnn”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!

新聞名稱：java如何實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)CupCnn-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)網(wǎng)址：http://www.chinadenli.net/article24/dgeoce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、外貿(mào)建站、關(guān)鍵詞優(yōu)化、域名注冊(cè)、網(wǎng)站改版、微信公眾號(hào)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)