今天要聊聊用 PyTorch 進(jìn)行 C++ 擴(kuò)展。

十年建站經(jīng)驗(yàn)， 做網(wǎng)站、網(wǎng)站制作客戶的見證與正確選擇。創(chuàng)新互聯(lián)提供完善的營(yíng)銷型網(wǎng)頁(yè)建站明細(xì)報(bào)價(jià)表。后期開發(fā)更加便捷高效，我們致力于追求更美、更快、更規(guī)范。

在正式開始前，我們需要了解 PyTorch 如何自定義module。這其中，最常見的就是在 python 中繼承torch.nn.Module，用 PyTorch 中已有的 operator 來組裝成自己的模塊。這種方式實(shí)現(xiàn)簡(jiǎn)單，但是，計(jì)算效率卻未必最佳，另外，如果我們想實(shí)現(xiàn)的功能過于復(fù)雜，可能 PyTorch 中那些已有的函數(shù)也沒法滿足我們的要求。這時(shí)，用 C、C++、CUDA 來擴(kuò)展 PyTorch 的模塊就是最佳的選擇了。

由于目前市面上大部分深度學(xué)習(xí)系統(tǒng)（TensorFlow、PyTorch 等）都是基于 C、C++ 構(gòu)建的后端，因此這些系統(tǒng)基本都存在 C、C++ 的擴(kuò)展接口。PyTorch 是基于 Torch 構(gòu)建的，而 Torch 底層采用的是 C 語(yǔ)言，因此 PyTorch 天生就和 C 兼容，因此用 C 來擴(kuò)展 PyTorch 并非難事。而隨著 PyTorch2.0 的發(fā)布，官方已經(jīng)開始考慮將 PyTorch 的底層代碼用 caffe2 替換，因此他們也在逐步重構(gòu) ATen，后者是目前 PyTorch 使用的 C++ 擴(kuò)展庫(kù)。總的來說，C++ 是未來的趨勢(shì)。至于 CUDA，這是幾乎所有深度學(xué)習(xí)系統(tǒng)在構(gòu)建之初就采用的工具，因此 CUDA 的擴(kuò)展接口是標(biāo)配。

本文用一個(gè)簡(jiǎn)單的例子，梳理一下進(jìn)行 C++ 擴(kuò)展的步驟，至于一些具體的實(shí)現(xiàn)，不做深入探討。

PyTorch的C、C++、CUDA擴(kuò)展

關(guān)于 PyTorch 的 C 擴(kuò)展，可以參考官方教程或者這篇博文，其操作并不難，無非是借助原先 Torch 提供的<TH/TH.h>和<THC/THC.h>等接口，再利用 PyTorch 中提供的torch.util.ffi模塊進(jìn)行擴(kuò)展。需要注意的是，隨著 PyTorch 版本升級(jí)，這種做法在新版本的 PyTorch 中可能會(huì)失效。

本文主要介紹 C++（未來可能加上 CUDA）的擴(kuò)展方法。

C++擴(kuò)展

首先，介紹一下基本流程。在 PyTorch 中擴(kuò)展 C++/CUDA 主要分為幾步：

1. 安裝好 pybind11 模塊（通過 pip 或者 conda 等安裝），這個(gè)模塊會(huì)負(fù)責(zé) python 和 C++ 之間的綁定；
2. 用 C++ 寫好自定義層的功能，包括前向傳播forward和反向傳播backward；
3. 寫好 setup.py，并用 python 提供的setuptools來編譯并加載 C++ 代碼。
4. 編譯安裝，在 python 中調(diào)用 C++ 擴(kuò)展接口。

接下來，我們就用一個(gè)簡(jiǎn)單的例子（z=2x+y）來演示這幾個(gè)步驟。

第一步

安裝 pybind11 比較簡(jiǎn)單，直接略過。我們先寫好 C++ 相關(guān)的文件：

頭文件 test.h

#include <torch/extension.h>
#include <vector>

// 前向傳播
torch::Tensor Test_forward_cpu(const torch::Tensor& inputA,
              const torch::Tensor& inputB);
// 反向傳播
std::vector<torch::Tensor> Test_backward_cpu(const torch::Tensor& gradOutput);

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前文章：PyTorch中的C++擴(kuò)展實(shí)現(xiàn)-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://www.chinadenli.net/article22/djcpcc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、建站公司、網(wǎng)站設(shè)計(jì)公司、外貿(mào)網(wǎng)站建設(shè)、商城網(wǎng)站、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)