PyTorchのAMPはbf16を使え．多分nanが出なくなる．
最初からクライマックス 公式に書かれている利用方法は下．でもモデルが数値的に不安定な計算（Softmax, division by epsilon...）を含んでるといつかnanが出る．ちなみに...
35
14
Comment0
5 search resultsShowing 1~5 results
Stocked
You need to log-in
PyTorchの関数本体ってどこで定義されてるの？逆伝搬は？~ATenの世界へのみちしるべ~
はじめに 本稿はPyTorch中級者以上向けのニッチな内容ですが，どうしても計算方法の定義が見たいという方にはおすすめです．内容は主に３つです． PythonからC++で書かれたATenライブラ...
70
59
Comment0
勾配消失への対抗策の一つ，DenseNet．
はじめに 本稿は2020年度の映像メディア学の課題として出題されたものです． 課題は2016~2020年の間にCVPR等のトップ会議・ジャーナルに投稿された内容を自力で実装せよ，さらにオンライン...
2
1
Comment0
線形方程式の解に対する誤差逆伝搬
導入 行列 $A$,ベクトル $b$ から線形方程式の解$x$を得るという操作ありますよね．($Ax=b$) まれに深層学習でも用いる瞬間が訪れます．私はPyTorchを使っているのですが， x...
1
1
Comment0
【線形代数】一般の行列のグラム行列とランクについて
諸定義 一般の行列というのは$A \in \mathbb{K}^{a_r \times a_c}$についてとします．$a_r,a_c$はそれぞれ行列$A$の行（row）と列(col)です．$\m...
1
0
Comment0
5 search resultsShowing 1~5 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles