概要

PyTorchを使っていたら、
RuntimeError: "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Double'
というエラーが発生して困った。

stackoverflowでこんな記事を見つけたが、いまいち何言ってるかよくわからない...(；ﾟДﾟ)

という状況下で、原因を特定できたので共有しておこうという記事。
（日本語の記事がなかった）

原因

言葉で説明

pytorchのデータセットに渡す目的変数が、「本来は整数値じゃないといけないのに、浮動小数点数になっていた」場合に発生している模様。

コードで該当箇所を説明

私の場合は、多クラス分類タスクに対するモデルを実装していた。
そして、原因になっていた目的変数の作成箇所はここ。

datasetを作成している部分

x_train_val = torch.tensor(bow_train_val, dtype=torch.float32)
x_test = torch.tensor(bow_test, dtype=torch.float32)

t_tr_val_torch = torch.tensor(t_train_val_ndarray, dtype=torch.float64)  # <- 分類問題なのに float64 を指定している
t_test_torch = torch.tensor(t_test_ndarray, dtype=torch.float64)         # <- 

dataset_train_val = torch.utils.data.TensorDataset(x_train_val, t_tr_val_torch)
dataset_test = torch.utils.data.TensorDataset(x_test, t_test_torch)

対策としては、こうするだけでOKでした！( ˙꒳˙ \三/ ˙꒳˙)/
※該当箇所を、torch.float64 -> torch.int64へと変更。

datasetを作成している部分

x_train_val = torch.tensor(bow_train_val, dtype=torch.float32)
x_test = torch.tensor(bow_test, dtype=torch.float32)

t_tr_val_torch = torch.tensor(t_train_val_ndarray, dtype=torch.int64)  # <- 分類問題なので int64 にした
t_test_torch = torch.tensor(t_test_ndarray, dtype=torch.int64)         # <- 

dataset_train_val = torch.utils.data.TensorDataset(x_train_val, t_tr_val_torch)
dataset_test = torch.utils.data.TensorDataset(x_test, t_test_torch)

最後に

おそらく、取り扱っているタスクによっては、必ずしもint64が正解ではないと思う。
けれども、少なくとも分類タスクなら、「目的変数は浮動小数点数ではない」はず。
そこを見直すと良さそう。（自戒）