怎么在PyTorch中實現(xiàn) 一個Optimizer訓練工具？針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

專業(yè)成都網(wǎng)站建設公司，做排名好的好網(wǎng)站，排在同行前面，為您帶來客戶和效益!創(chuàng)新互聯(lián)建站為您提供成都網(wǎng)站建設，五站合一網(wǎng)站設計制作，服務好的網(wǎng)站設計公司，成都做網(wǎng)站、成都網(wǎng)站設計、成都外貿(mào)網(wǎng)站建設負責任的成都網(wǎng)站制作公司!

pytorch的優(yōu)點

1.PyTorch是相當簡潔且高效快速的框架；2.設計追求最少的封裝；3.設計符合人類思維，它讓用戶盡可能地專注于實現(xiàn)自己的想法；4.與google的Tensorflow類似，F(xiàn)AIR的支持足以確保PyTorch獲得持續(xù)的開發(fā)更新；5.PyTorch作者親自維護的論壇 供用戶交流和求教問題6.入門簡單

torch.optim 是一個實現(xiàn)了各種優(yōu)化算法的庫。大部分常用的方法得到支持，并且接口具備足夠的通用性，使得未來能夠集成更加復雜的方法。

使用 torch.optim，必須構造一個 optimizer 對象。這個對象能保存當前的參數(shù)狀態(tài)并且基于計算梯度更新參數(shù)。

例如：

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

構造方法

Optimizer 的 __init__ 函數(shù)接收兩個參數(shù)：第一個是需要被優(yōu)化的參數(shù)，其形式必須是 Tensor 或者 dict；第二個是優(yōu)化選項，包括學習率、衰減率等。

被優(yōu)化的參數(shù)一般是 model.parameters()，當有特殊需求時可以手動寫一個 dict 來作為輸入。

例如：

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)

這樣 model.base 或者說大部分的參數(shù)使用 1e-2 的學習率，而 model.classifier 的參數(shù)使用 1e-3 的學習率，并且 0.9 的 momentum 被用于所有的參數(shù)。

梯度控制

在進行反向傳播之前，必須要用 zero_grad() 清空梯度。具體的方法是遍歷 self.param_groups 中全部參數(shù)，根據(jù) grad 屬性做清除。

例如：

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

調整學習率

lr_scheduler 用于在訓練過程中根據(jù)輪次靈活調控學習率。調整學習率的方法有很多種，但是其使用方法是大致相同的：用一個 Schedule 把原始 Optimizer 裝飾上，然后再輸入一些相關參數(shù)，然后用這個 Schedule 做 step()。

比如以 LambdaLR 舉例：

lambda1 = lambda epoch: epoch // 30
lambda2 = lambda epoch: 0.95 ** epoch
scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
for epoch in range(100):
 train(...)
 validate(...)
 scheduler.step()

上面用了兩種優(yōu)化器

優(yōu)化方法

optim 庫中實現(xiàn)的算法包括 Adadelta、Adagrad、Adam、基于離散張量的 Adam、基于 ∞ \infty∞ 范式的 Adam（Adamax）、Averaged SGD、L-BFGS、RMSProp、resilient BP、基于 Nesterov 的 SGD 算法。

以 SGD 舉例：

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
optimizer.zero_grad()
loss_fn(model(input), target).backward()
optimizer.step()

其它方法的使用也一樣：

opt_Adam = torch.optim.Adam(net_Adam.parameters(), lr=0.1, betas=(0.9, 0.99)
opt_RMSprop = torch.optim.RMSprop(net_RMSprop.parameters(), lr=0.1, alpha=0.9)
...
...

關于怎么在PyTorch中實現(xiàn) 一個Optimizer訓練工具問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注創(chuàng)新互聯(lián)成都網(wǎng)站設計公司行業(yè)資訊頻道了解更多相關知識。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網(wǎng)頁標題：怎么在PyTorch中實現(xiàn)一個Optimizer訓練工具-創(chuàng)新互聯(lián)
標題來源：http://www.chinadenli.net/article18/djcddp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設、網(wǎng)站設計公司、App設計、網(wǎng)頁設計公司、品牌網(wǎng)站制作、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)