皆さんこんにちは。今日も引き続きChatGPT先生をお迎えしておりますが、以前にやりました「ChatGPTとPythonで作る和歌LSTM」の続編をしたいと思います。
本日も、用いる和歌のデータは、国際日本文化研究センターで公開されている 「和歌データベース」 を利用します。
それではChatGPT先生、よろしくお願いします。
assistant:
もちろんです。引き続きのセッションに参加できてとても嬉しいです。以前は和歌を生成するためのLSTMモデルを作成しました。今回はどのような話題や進行で進めていきましょうか？
もし具体的なアイデアがありましたら、教えてください。それがない場合は、例えば以下のような方向性を提案できます：
-
既存のモデルを精緻化する。例えば、より大きなデータセットで訓練する、モデルパラメータをチューニングする、または異なるアーキテクチャを試すなど。
-
新しい評価手法を導入する。モデルの生成した和歌を人間がどのように評価するか、またはその他のオートメーション評価手法。
-
和歌の生成をさらに制御するための方法を研究する。特定のテーマや形式に基づいて和歌を生成する方法など。
どの道を選ぼうと、一緒に学びながら進めていきましょう。
user:
まずは前回の復習から行きたいと思います。前回、最初にこのようなLSTMモデルを用いました。
class Net(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
super(Net, self).__init__()
self.hidden_size = hidden_size
self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)
self.out = nn.Linear(hidden_size, output_size)
def forward(self, x):
x, _ = self.lstm(x)
x = self.out(x[:, -1, :])
return x
次に、このようなモデルを用いました。
class Net(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
super(Net, self).__init__()
self.hidden_size = hidden_size
self.lstm = nn.LSTM(
input_size, hidden_size, num_layers=2, batch_first=True, dropout=0.5
)
self.dropout = nn.Dropout(0.5)
self.bn = nn.BatchNorm1d(hidden_size)
self.out = nn.Linear(hidden_size, output_size)
def forward(self, x):
x, _ = self.lstm(x)
x = self.dropout(x)
x = self.bn(x[:, -1, :])
x = self.out(x)
return x
これらのモデルについて、改めて解説をお願いします。
assistant:
もちろんです、前回のコードはPythonの深層学習フレームワークであるPyTorchを使用してLSTM(Long Short Term Memory)ネットワークを定義していました。
最初のモデルでは、LSTMの層が一つだけ設定されていて、その層が適用された後、nn.Linearを使用して最終結果を生成しています。
第二のモデルでは、LSTMの層が2つあり、各層の間でdropoutを使用しているのが特徴です。dropoutはモデルの過学習を防ぐための一般的な手法で、ランダムにノードを「ドロップアウト」（つまり無視）することでネットワークのロバスト性を高めます。
さらに、第二のモデルではBatchNorm層も使われています。BatchNormは、ネットワークの各層の入力の分布を正規化することで、学習を安定化させ、学習速度を速める効果があります。これは、各ミニバッチの出力を平均0、分散1にスケーリングとシフトすることで行われます。
最後に、nn.Linearは全結合層とも呼ばれ、入力と重みのドット積にバイアスを加えたものを出力します。これにより、特徴量を変換し、最終的な出力サイズに合わせます。
これらのモデルは、作詞、言語翻訳、音声認識など、シーケンスデータを取り扱う多くのタスクで利用される基本的なニューラルネットワークの一部です。
以上が前回用いたモデルの概要です。何か他に質問がありましたら、何でもお聞きください。
user:
学習には次のようなコードを用いました。これについても、改めて解説をお願いします。
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
from torch.utils.data import Dataset, DataLoader
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
with open("waka.txt", "r", encoding="utf-8") as f:
text = f.read()
chars = sorted(list(set(text)))
char_to_int = dict((c, i) for i, c in enumerate(chars))
int_to_char = dict((i, c) for i, c in enumerate(chars))
sequence_length = 5
dataX = []
dataY = []
for i in range(0, len(text) - sequence_length, 1):
seq_in = text[i:i + sequence_length]
seq_out = text[i + sequence_length]
dataX.append([char_to_int[char] for char in seq_in])
dataY.append(char_to_int[seq_out])
class MyDataset(Dataset):
def __init__(self, dataX, dataY):
self.dataX = dataX
self.dataY = dataY
def __len__(self):
return len(self.dataX)
def __getitem__(self, idx):
return torch.tensor(self.dataX[idx]), torch.tensor(self.dataY[idx])
def train(epoch, model, dataloader, criterion, optimizer):
model.train()
running_loss = 0.0
for batch_idx, (data, target) in enumerate(dataloader):
data, target = data.to(device), target.to(device)
data = data.view(-1, sequence_length, 1).float()
optimizer.zero_grad()
output = model(data)
loss = criterion(output, target)
loss.backward()
optimizer.step()
running_loss += loss.item()
return running_loss / len(dataloader)
def plot_loss(loss_list):
plt.plot(list(range(len(loss_list))), loss_list, '-b', label='loss')
plt.legend(loc=0)
plt.show()
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Net(1, 128, len(chars)).to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)
train_data, val_data, train_label, val_label = train_test_split(dataX, dataY, test_size=0.2)
train_dataset = MyDataset(train_data, train_label)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
loss_list = []
for epoch in range(100):
loss = train(epoch, model, train_loader, criterion, optimizer)
print('Train Epoch: {} \t Loss: {:.6f}'.format(epoch+1, loss))
loss_list.append(loss)
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
plot_loss(loss_list)
assistant:
このコードでは和歌を生成するLSTMモデルの学習を行っています。主要な流れは次の通りです。
-
まず、全ての和歌を文字ごとに区切り、各文字に一意の整数を割り当てるための辞書を作成します。これにより、後でモデルが各文字を認識できるようになります。
-
次に、テキストを一定の長さのシーケンスに分割します。例えば、"こんにちは"をシーケンス長5で分割すると、["こん", "にち", "は "]となります。また、各シーケンスの直後の文字がそのシーケンスのターゲット（つまり、次に生成すべき文字）となります。
-
それから独自のデータセットクラス
MyDatasetを定義しています。PyTorchでは、このような独自のデータセットクラスを作成し、その中でどのように各データポイントを取得するかを定義することで、データの読み込みや前処理を行います。 -
モデルと最適化手法を定義します。ここではLSTMモデルとAdam最適化アルゴリズム、そしてCrossEntropyLoss（クロスエントロピー損失）が選択されています。クロスエントロピー損失は多クラス分類問題によく利用されます。
-
学習用のデータセットと検証用のデータセットにデータを分割します。そして DataLoader を介してこれらのデータをモデルに供給します。
-
モデルを学習します。一連のエポック内で、モデルは学習データを用いて順伝播と逆伝播を繰り返し、重みを更新します。
-
各エポック後に、モデルの損失がどのように変化したかをプロットします。また、モデルのCheckpoint（中間結果）を保存することで、後でモデルを再利用したり、学習を再開したりすることが可能になります。
user:
このコード中で、train_data, val_data, train_label, val_label にデータ分割してますが、val_data が使われてない気がします。どのように使えばよいか提案して、その提案通りに全コードを書き直してください。
assistant:
確かに、現状のコードだと検証データが使用されていません。
一般的に、検証データは訓練中にモデルのパフォーマンスを評価し過学習を防ぐために使用されます。検証データに対するパフォーマンスが訓練データに対するパフォーマンスと異なることで過学習が検出できます。
具体的なコードとしては、以下のように書くことができます。この修正版では、学習の各エポック後に検証データに対する損失を計算し、標準出力に出力しています。
def evaluate(model, dataloader, criterion):
model.eval()
running_loss = 0.0
with torch.no_grad():
for batch_idx, (data, target) in enumerate(dataloader):
data, target = data.to(device), target.to(device)
data = data.view(-1, sequence_length, 1).float()
output = model(data)
loss = criterion(output, target)
running_loss += loss.item()
return running_loss / len(dataloader)
# 以下は元のコードである。
val_dataset = MyDataset(val_data, val_label)
val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False)
loss_list = []
val_loss_list = [] # 検証データの損失を追跡
for epoch in range(100):
loss = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
print('Train Epoch: {} \t Train Loss: {:.6f} \t Val Loss: {:.6f}'.format(epoch+1, loss, val_loss))
loss_list.append(loss)
val_loss_list.append(val_loss)
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
# 損失のプロット
def plot_loss(loss_list, val_loss_list):
plt.figure()
plt.plot(list(range(len(loss_list))), loss_list, '-b', label='training loss')
plt.plot(list(range(len(val_loss_list))), val_loss_list, '-r', label='validation loss')
plt.legend(loc=0)
plt.show()
plot_loss(loss_list, val_loss_list)
このように、検証データを使うことで、モデルが学習データにオーバーフィッティングしていないかどうか(つまり、過学習していないかどうか)を監視することが可能となります。検証データに対する損失が増えるようであれば、それはモデルが訓練データにオーバーフィットしている可能性があります。
user:
ありがとうございます。性能の指標として Perplexity があると思いますが、それを計算するコードも提案してもらってよいでしょうか？
assistant:
Perplexityは言語モデルの性能を評価するためによく使われる指標で、損失関数（通常はクロスエントロピー損失）の指数として定義されます。Perplexityが低ければ低いほど、モデルの性能が良いとされています。
Perplexityの計算を行う新しい関数を定義し、各エポックの終わりでその評価を出力するように改訂したコードは以下の通りです：
def calculate_perplexity(loss):
return np.exp(loss)
def evaluate(model, dataloader, criterion):
model.eval()
running_loss = 0.0
with torch.no_grad():
for batch_idx, (data, target) in enumerate(dataloader):
data, target = data.to(device), target.to(device)
data = data.view(-1, sequence_length, 1).float()
output = model(data)
loss = criterion(output, target)
running_loss += loss.item()
return running_loss / len(dataloader)
loss_list = []
val_loss_list = []
perplexity_list = [] # Perplexity を追跡
for epoch in range(100):
loss = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print('Train Epoch: {} \t Train Loss: {:.6f} \t Val Loss: {:.6f} \t Val Perplexity: {:.6f}'.format(epoch+1, loss, val_loss, perplexity))
loss_list.append(loss)
val_loss_list.append(val_loss)
perplexity_list.append(perplexity)
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
# 損失のプロット
def plot_loss_and_perplexity(loss_list, val_loss_list, perplexity_list):
plt.figure()
plt.plot(list(range(len(loss_list))), loss_list, '-b', label='training loss')
plt.plot(list(range(len(val_loss_list))), val_loss_list, '-r', label='validation loss')
plt.legend(loc=0)
plt.show()
plt.figure()
plt.plot(list(range(len(perplexity_list))), perplexity_list, '-g', label='validation perplexity')
plt.legend(loc=0)
plt.show()
plot_loss_and_perplexity(loss_list, val_loss_list, perplexity_list)
このコードでは、検証データ上でのPerplexityを各エポックの終わりで計算し、その結果を出力します。また、訓練の終了時には、全てのエポックでのPerplexityのトラジェクトリをプロットします。
user:
ありがとうございます。これで準備ができました。それでは、前回以降、waka.txt のデータを手作業でクリーニングして、余計な文字列を除いたりなどしたので、そのデータを用いて学習をしてみたいと思います。
assistant:
それは素晴らしいですね。新しいデータセットでの学習がうまくいくことを願っています。
もし必要であれば、ハイパーパラメータ（LSTMの隠れ層のサイズや学習率など）を調節してみるとよいかもしれません。それにより学習速度と性能が向上する可能性があります。
また、学習中の各エポックで検証データの損失とPerplexityを確認して、過学習を避けるようにしましょう。検証データの損失やPerplexityが十分低く、かつ訓練データのそれと大きな差がなければ、適切なバランスの取れたモデルが得られるでしょう。
以上のような点を意識しながら、新しいクリーニング済みのデータセットでモデルの学習を行って見てください。何か困ったことや質問があれば、いつでもお知らせください。
user:
あ、ちょっと待ってください。 Perplexity って、loss の exp なんですね。実質、 loss と同じなんですね。
assistant:
はい、あなたのおっしゃる通り、Perplexityは確かにクロスエントロピー損失の指数（exp）として計算されます。そして、それはクロスエントロピー損失が低いほどPerplexityも低くなるという関係にあります。しかし、Perplexityと損失にはいくつか重要な違いがあります。
Perplexityは「混乱度」とも訳され、その値が小さいほど予測性能が高い、つまり混乱していないということを示します。なお、完全な予測が可能な場合のPerplexityは1となります。
一方で、損失はその値が大きければ大きいほどモデルの予測が実際の値からどれだけ外れているかを示しています。
したがって、同じように見えても、Perplexityと損失は異なる性質を持つ指標であり、それぞれ異なる視点からモデルの性能を評価しています。損失はモデルがどのくらい「間違っているか」を示し、Perplexityはモデルがどのくらい「混乱しているか」（つまり予測を行う際にどれだけの選択肢を平均的に検討しているか）を示しています。
言語モデリングの分野においては、Perplexityは特に重要な指標とされており、よく報告される結果となっています。
user:
せっかくなので、1 epoch ごとに、計算に何分かかったか表示するように train 関数を改変してください。
assistant:
それは大変有用な機能ですね。Python の time モジュールを使って学習に要した時間を計測することができます。以下にその例を示します：
import time
def train(epoch, model, dataloader, criterion, optimizer):
model.train()
running_loss = 0.0
start_time = time.time()
for batch_idx, (data, target) in enumerate(dataloader):
data, target = data.to(device), target.to(device)
data = data.view(-1, sequence_length, 1).float()
optimizer.zero_grad()
output = model(data)
loss = criterion(output, target)
loss.backward()
optimizer.step()
running_loss += loss.item()
end_time = time.time()
training_time = (end_time - start_time) / 60 # 分単位で表示
return running_loss / len(dataloader), training_time
for epoch in range(100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
loss_list.append(loss)
val_loss_list.append(val_loss)
perplexity_list.append(perplexity)
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
この修正版の train 関数では、エポックごとの訓練時間（分単位）を計測し、それを返します。この計測時間は、各エポックの終了時に標準出力に出力されます。
user:
上記の学習が中断されたときに、最新のスナップショットから学習を再開するコードを書いてください。
assistant:
最新のモデルのスナップショットから学習を再開するためには、以下のようにモデルの状態をロードすることができます：
import os
import glob
# 最新のチェックポイントを見つける
list_of_files = glob.glob('*.pth') # Checkpointファイルのリストを取得
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のCheckpointファイルを取得
# モデルとオプティマイザの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
start_epoch = checkpoint['epoch']
loss_list = checkpoint['loss_list']
val_loss_list = checkpoint['val_loss_list']
perplexity_list = checkpoint['perplexity_list']
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
loss_list.append(loss)
val_loss_list.append(val_loss)
perplexity_list.append(perplexity)
# 損失とパープレキシティも含めて保存
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss_list': loss_list,
'val_loss_list': val_loss_list,
'perplexity_list': perplexity_list
}, f'model_epoch{epoch+1}.pth')
上記のコードでは、.pth形式の全てのファイル（チェックポイント）を検出し、最も新しいものを見つけてロードするようになっています。
その後、チェックポイントからモデルの状態、オプティマイザの状態、最後のエポック数、および損失リストとパープレキシティリストの状態を復元します。そして、最後に保存されたエポックから学習を再開します。
また、各エポック後にモデルの状態だけでなく、パープレキシティと損失のリストもチェックポイントに保存します。これにより、学習の途中経過を追跡できます。注意点として、この方法を使用するとき、全ての保存された情報（モデルの状態、オプティマイザの状態、損失とパープレキシティのリストなど）がチェックポイントに一緒に保存されるため、チェックポイントファイルのサイズが大きくなります。パープレキシティと損失のリストが大きくなりすぎると、これらのリストを別の場所に定期的に保存することを検討してみてください。
user:
次のエラーを修正したコードを書いてください。
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
Cell In[24], line 10
8 # モデルとオプティマイザの状態をロード
9 checkpoint = torch.load(latest_checkpoint)
---> 10 model.load_state_dict(checkpoint['model_state_dict'])
11 optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
12 start_epoch = checkpoint['epoch']
KeyError: 'model_state_dict'
assistant:
このエラーは、チェックポイントが model_state_dict キーを含まない辞書として保存されているために発生しているようです。
おそらく、チェックポイントは model.state_dict() そのものが直接保存されているようです。
したがって、モデルのロードを次のように修正すれば、エラーは解消されるはずです：
import os
import glob
# 最新のチェックポイントを見つける
list_of_files = glob.glob('*.pth') # Checkpointファイルのリストを取得
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のCheckpointファイルを取得
# モデルとオプティマイザの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint)
optimizer.load_state_dict(checkpoint)
start_epoch = checkpoint['epoch']
loss_list = checkpoint['loss_list']
val_loss_list = checkpoint['val_loss_list']
perplexity_list = checkpoint['perplexity_list']
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
loss_list.append(loss)
val_loss_list.append(val_loss)
perplexity_list.append(perplexity)
# 損失とパープレキシティも含めて保存
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss_list': loss_list,
'val_loss_list': val_loss_list,
'perplexity_list': perplexity_list
}, f'model_epoch{epoch+1}.pth')
ただし、こちらの修正版は기존のチェックポイントの保存方式に対応していますので、新規に学習を開始した場合や、上記に提案したチェックポイント保存方式（'model_state_dict', 'optimizer_state_dict'のようなキーを含む辞書を保存する方法）を用いた場合には対応していません。
エラーが解消しない場合や、他に気になる点があればお知らせください。
user:
次のエラーを修正したコードを書いてください。
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
Cell In[25], line 11
9 checkpoint = torch.load(latest_checkpoint)
10 model.load_state_dict(checkpoint)
---> 11 optimizer.load_state_dict(checkpoint)
12 start_epoch = checkpoint['epoch']
13 loss_list = checkpoint['loss_list']
File /usr/local/lib/python3.10/site-packages/torch/optim/optimizer.py:193, in Optimizer.load_state_dict(self, state_dict)
191 # Validate the state_dict
192 groups = self.param_groups
--> 193 saved_groups = state_dict['param_groups']
195 if len(groups) != len(saved_groups):
196 raise ValueError("loaded state dict has a different number of "
197 "parameter groups")
KeyError: 'param_groups'
assistant:
エラーメッセージから判断するに、チェックポイントが param_groups キーを含んでいないためにエラーが発生しているようです。
おそらく、オプティマイザーの状態含むチェックポイントを保存していないのかもしれません。上記のコードでは、チェックポイントからオプティマイザーの状態をロードしようとしていますが、その情報が存在しないためにエラーとなっています。
この問題を修正するには、チェックポイントからオプティマイザーの状態をロードする行を削除すると良いでしょう。
以下に修正したコードを示します：
import os
import glob
# 最新のチェックポイントを見つける
list_of_files = glob.glob('*.pth') # チェックポイントファイルのリストを取得
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# モデルの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint)
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
この修正版コードでは、チェックポイントからオプティマイザーの状態をロードする部分を削除しました。その代わりに、各エポック後にモデルの状態だけを保存します。
user:
次のエラーを修正したコードを書いてください。
---------------------------------------------------------------------------
NameError Traceback (most recent call last)
Cell In[26], line 13
10 model.load_state_dict(checkpoint)
12 # 学習を再開
---> 13 for epoch in range(start_epoch, 100):
14 loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
15 val_loss = evaluate(model, val_loader, criterion)
NameError: name 'start_epoch' is not defined
assistant:
エラーメッセージから見ると、変数 start_epoch が定義されていないようです。弊官の過去の回答を参考にすると、start_epoch はチェックポイントからロードされるべきだったようです。しかし、上記のコードではその部分がコメントアウトされていたため、start_epoch が定義されていない状態で使われてしまったようです。
そのため、チェックポイントから start_epoch を読み込む行を復活させて、エラーを解消しましょう。ただし、その前に明示的に start_epoch を0と定義して、checkpointが存在しない場合も考慮に入れます。
修正後のコードは以下のようになります：
import os
import glob
# 最新のチェックポイントを見つける
list_of_files = glob.glob('*.pth') # チェックポイントファイルのリストを取得
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# モデルの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint)
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
このコードは、単純にモデルの状態をチェックポイントからロードし、学習を再開します。エポック数は0から開始されます。完成した学習結果が欲しい場合、保存したepoch情報を含むチェックポイントを使用することを推奨します。このエラーが解消しない場合、または他に気になる点がある場合は、お知らせください。
user:
開始エポックを定義（checkpointが存在しない場合は0を使用）の部分ですが、存在する場合が書かれてないのはおかしくないですか？
assistant:
その通りですね、すみません。チェックポイントが存在する場合にもエポック数を定義する必要があります。
しかし、現在のチェックポイントはstart_epochを含んでないため、これを含むように保存する修正が必要です。その修正を含めたコードを書くと次のようになります。
import os
import glob
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 最新のチェックポイントを見つける
list_of_files = glob.glob('*.pth') # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# モデルの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint)
# チェックポイントから開始エポックをロード
start_epoch = checkpoint['epoch'] + 1
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save({'epoch': epoch, 'model_state_dict': model.state_dict()}, f'model_epoch{epoch+1}.pth')
エラーが解消しない場合、または他に気になる点がある場合は、お知らせください。
user:
次のエラーを修正したコードを書いてください。
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
Cell In[27], line 17
14 model.load_state_dict(checkpoint)
16 # チェックポイントから開始エポックをロード
---> 17 start_epoch = checkpoint['epoch'] + 1
19 # 学習を再開
20 for epoch in range(start_epoch, 100):
KeyError: 'epoch'
assistant:
申し訳ございません。そのエラーはチェックポイントに 'epoch' キーが存在しないために発生しています。チェックポイントに 'epoch' キーが存在するかどうかを確認するチェックを導入すると良いでしょう。コードは以下のようになります：
import os
import glob
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 最新のチェックポイントを見つける
list_of_files = glob.glob('*.pth') # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# モデルの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint)
# チェックポイントから開始エポックをロード
if 'epoch' in checkpoint:
start_epoch = checkpoint['epoch'] + 1
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save({'epoch': epoch, 'model_state_dict': model.state_dict()}, f'model_epoch{epoch+1}.pth')
user:
そのコードでもダメですね。チェックポイントの命名規則が 'model_epoch{epoch+1}.pth' になっているので、そこからstart_epochを読み取るように変更してください。
assistant:
その通りですね。チェックポイントファイル名からエポック数を抽出し、その値を start_epoch 変数に割り当てることでこの問題を解消できます。
Pythonの正規表現ライブラリ re を使用して、ファイル名からエポック数を抽出します。
修正後のコードは以下のようになります：
import os
import glob
import re
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 最新のチェックポイントを見つける
list_of_files = glob.glob('model_epoch*.pth') # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r'\d+', latest_checkpoint)[0])
# モデルの状態をロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint)
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
val_loss = evaluate(model, val_loader, criterion)
perplexity = calculate_perplexity(val_loss)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save(model.state_dict(), f'model_epoch{epoch+1}.pth')
このコードでは re.findall 関数を使用してファイル名中の数字部分を抽出し、start_epochとして使用しています。実行する際のエラー、または他に疑問点があればお知らせください。
user:
ちょっと待ってください。最初に学習した時のコードでは
loss_list = []
val_loss_list = []
perplexity_list = []
というふうに学習履歴を記録するためのリストを用意してました。その履歴を消すことなく追記できるように、先ほどのコードを修正してください。
assistant:
その通りですね、継続的に学習を行う場合、学習の履歴を記録することは重要です。それぞれのリストを初期化した後、チェックポイントが存在する場合には、それらのリストをチェックポイントから読み込むように修正しましょう。さらに、新しいチェックポイントを保存する際には、その時点のリストの状態も保存します。
修正後のコードは以下のようになります：
import os
import glob
import re
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 学習履歴を記録するリストを用意
loss_list = []
val_loss_list = []
perplexity_list = []
# 最新のチェックポイントを見つける
list_of_files = glob.glob('model_epoch*.pth') # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r'\d+', latest_checkpoint)[0])
# チェックポイントをロード
checkpoint = torch.load(latest_checkpoint)
# モデルと学習履歴をロード
model.load_state_dict(checkpoint['model_state_dict'])
loss_list = checkpoint['loss_list']
val_loss_list = checkpoint['val_loss_list']
perplexity_list = checkpoint['perplexity_list']
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
loss_list.append(loss)
val_loss = evaluate(model, val_loader, criterion)
val_loss_list.append(val_loss)
perplexity = calculate_perplexity(val_loss)
perplexity_list.append(perplexity)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save({'epoch': epoch, 'model_state_dict': model.state_dict(), 'loss_list': loss_list, 'val_loss_list': val_loss_list, 'perplexity_list': perplexity_list}, f'model_epoch{epoch+1}.pth')
このコードでは、各エポック後に損失と困惑度のリストが更新され、その結果がチェックポイントに保存されます。
エラーが解消しない場合、または他に気になる点がある場合は、お知らせください。
user:
いえ、ですから、そうじゃないんです。次のようなエラーが出ることからわかるように、前回教えていただいた学習コードでは、チェックポイントに学習履歴が残らないような設計になっているんです。というかむしろ、チェックポイントに学習履歴が残るようにできることを知らなかったのですが、そうするためには、どう書き換えればいいですか？
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
Cell In[31], line 13
10 checkpoint = torch.load(latest_checkpoint)
12 # モデルと学習履歴をロード
---> 13 model.load_state_dict(checkpoint['model_state_dict'])
14 loss_list = checkpoint['loss_list']
15 val_loss_list = checkpoint['val_loss_list']
KeyError: 'model_state_dict'
assistant:
申し訳ありません。現在のチェックポイントには学習履歴が含まれていないため、エラーが発生しています。チェックポイントに学習の履歴も保存するようにコードを改変する必要があります。
そのため、学習のエポックごとに損失のリストとパープレキシティのリストを更新し、それらをチェックポイントとして保存するコードを以下に示します。また、モデルの状態を復元する際には、これらのリストも復元するようにします。
import os
import glob
import re
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 学習履歴を記録するリストを用意
loss_list = []
val_loss_list = []
perplexity_list = []
# 最新のチェックポイントを見つける
list_of_files = glob.glob('model_epoch*.pth') # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r'\d+', latest_checkpoint)[0])
# チェックポイントをロード
checkpoint = torch.load(latest_checkpoint)
model.load_state_dict(checkpoint['model_state_dict'])
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
loss_list.append(loss)
val_loss = evaluate(model, val_loader, criterion)
val_loss_list.append(val_loss)
perplexity = calculate_perplexity(val_loss)
perplexity_list.append(perplexity)
print(f'Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min')
# チェックポイントを保存
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss': loss,
'loss_list': loss_list,
'val_loss_list': val_loss_list,
'perplexity_list': perplexity_list,
}, f'model_epoch{epoch+1}.pth')
これ以降で誤りがあれば、またお知らせください。以上のようにチェックポイントに訓練履歴も保存するようにすれば、訓練を中断した後でも途中から再開でき、訓練の履歴を保持することができます。
user:
ああ、なるほど、そういうことだったんですね。分かりました。このようにすれば、学習を開始するときも、止まった学習を再開するときも、同じコードが使えるということなんですね。
assistant:
はい、その通りです！ チェックポイントを使用することで、訓練を中断した後でも途中から再開することが可能となります。また、訓練の途中結果を保存するため、何か問題が発生しても前のチェックポイントからやり直すことができます。そして、最重要な点は、学習の進行に伴う損失の履歴を保持しておくことで、訓練の進行状況を把握しやすくすることができます。
以上のような理由から、機械学習や深層学習のプロジェクトでは、チェックポイントの使用が一般的です。何か質問があればお知らせください。
user:
ということはむしろ、前々回の「モデルと学習履歴をロード」のあるコードの方が正しそうですね。
assistant:
はい、その通りです。チェックポイントからモデルの状態だけでなく、学習履歴もロードして、途中から学習を再開できるようにする方が適切です。モデルの状態だけでなく、学習履歴も保存することで、学習を未完のまま中断した後に再開する際に、学習曲線の途中から続行することが可能となります。
なお、キーが存在しない場合に備えてキーの存在をチェックするコードも追加しました。以下に、修正後のコードを示します。
import os
import glob
import re
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 学習履歴を記録するリストを用意
loss_list = []
val_loss_list = []
perplexity_list = []
# 最新のチェックポイントを見つける
list_of_files = glob.glob('model_epoch*.pth') # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r'\d+', latest_checkpoint)[0])
# チェックポイントをロード
checkpoint = torch.load(latest_checkpoint)
# モデルと学習履歴をロード
if 'model_state_dict' in checkpoint:
model.load_state_dict(checkpoint['model_state_dict'])
if 'loss_list' in checkpoint:
loss_list = checkpoint['loss_list']
if 'val_loss_list' in checkpoint:
val_loss_list = checkpoint['val_loss_list']
if 'perplexity_list' in checkpoint:
perplexity_list = checkpoint['perplexity_list']
# 学習を再開
for epoch in range(start_epoch, 100):
# ここに学習コードを書く
# ...
# チェックポイントを保存
torch.save({'epoch': epoch, 'model_state_dict': model.state_dict(), 'loss_list': loss_list, 'val_loss_list': val_loss_list, 'perplexity_list': perplexity_list}, f'model_epoch{epoch+1}.pth')
これでモデルの状態だけでなく、学習の進行状況も保存し、再開することができます。
user:
perplexityが最小のモデルを自動的に選択するコードを書いてください。
assistant:
評価指標（この場合はパープレキシティ）を追跡し、それが改善されたときにのみモデルを保存する方法を採用すると良いでしょう。これにより、パープレキシティが最小のモデルが自動的に保存されます。
以下に、最小のパープレキシティを追跡してモデルを保存するコードの例を示します。（最初のエポックではベストのパープレキシティを正の無限大として初期化します）
min_perplexity = float('inf')
# 学習を再開
for epoch in range(start_epoch, 100):
# ここに学習コードを書く
# ...
perplexity = calculate_perplexity(val_loss)
perplexity_list.append(perplexity)
# パープレキシティが改善された場合にのみモデルを保存
if perplexity < min_perplexity:
min_perplexity = perplexity
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss': loss,
'loss_list': loss_list,
'val_loss_list': val_loss_list,
'perplexity_list': perplexity_list,
'min_perplexity': min_perplexity
}, f'best_model.pth')
print('Training complete. The state of the best model (lowest perplexity) was saved as best_model.pth.')
上記のコードでは、各エポックでパープレキシティを計算し、それがこれまでの最小値よりも小さければ（つまりパープレキシティが改善された場合）、最新のモデルの状態を保存します。これにより、パープレキシティが最小のモデルがbest_model.pthとして自動的に保存され、そのモデルを使用してテストデータの生成や評価を行うことが可能となります。
user:
それも悪くないんですが、f'model_epoch{epoch+1}.pth' という命名規則で、もうすでに１エポックごとにモデルは保存されており、checkpoint = torch.load(latest_checkpoint)したときにcheckpoint['perplexity_list']でperplexityの履歴は取得できるので、その履歴を参考に、perplexity最小のモデルを選択するコードを書いてください。
assistant:
わかりました。既に各エポックのモデルが保存されており、評価指標のリストも利用可能とのことですね。
その場合、以下のようにパープレキシティのリストを参照して最小値を持つエポックを特定することができます。次に、そのエポックのモデルを読み込むことで、パープレキシティが最小となるモデルを取得することができます。
# ベストモデルのエポックを取得する
best_epoch = perplexity_list.index(min(perplexity_list))
# ベストモデルのチェックポイントをロードする
best_model_checkpoint = torch.load(f'model_epoch{best_epoch+1}.pth')
# モデルにベストチェックポイントのパラメータをロードする
model.load_state_dict(best_model_checkpoint['model_state_dict'])
print(f'Loaded the model from epoch {best_epoch+1}, which has the lowest perplexity.')
これで、パープレキシティが最小のモデルを自動的に選択し、そのモデルをロードすることができます。
user:
ありがとうございました。おかげさまで、学習から生成までの一連の流れを改善することができました。
以下、改良版の学習用コードをまとめて書いておきます。
import glob
import os
import re
import time
import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.model_selection import train_test_split
from torch.utils.data import DataLoader, Dataset
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
class Net(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
super(Net, self).__init__()
self.hidden_size = hidden_size
self.lstm = nn.LSTM(
input_size, hidden_size, num_layers=2, batch_first=True, dropout=0.5
)
self.dropout = nn.Dropout(0.5)
self.bn = nn.BatchNorm1d(hidden_size)
self.out = nn.Linear(hidden_size, output_size)
def forward(self, x):
x, _ = self.lstm(x)
x = self.dropout(x)
x = self.bn(x[:, -1, :])
x = self.out(x)
return x
class MyDataset(Dataset):
def __init__(self, dataX, dataY):
self.dataX = dataX
self.dataY = dataY
def __len__(self):
return len(self.dataX)
def __getitem__(self, idx):
return torch.tensor(self.dataX[idx]), torch.tensor(self.dataY[idx])
def train(epoch, model, dataloader, criterion, optimizer):
model.train()
running_loss = 0.0
start_time = time.time()
for batch_idx, (data, target) in enumerate(dataloader):
data, target = data.to(device), target.to(device)
data = data.view(-1, sequence_length, 1).float()
optimizer.zero_grad()
output = model(data)
loss = criterion(output, target)
loss.backward()
optimizer.step()
running_loss += loss.item()
end_time = time.time()
training_time = (end_time - start_time) / 60 # 分単位で表示
return running_loss / len(dataloader), training_time
def calculate_perplexity(loss):
return np.exp(loss)
def evaluate(model, dataloader, criterion):
model.eval()
running_loss = 0.0
with torch.no_grad():
for batch_idx, (data, target) in enumerate(dataloader):
data, target = data.to(device), target.to(device)
data = data.view(-1, sequence_length, 1).float()
output = model(data)
loss = criterion(output, target)
running_loss += loss.item()
return running_loss / len(dataloader)
with open("waka.txt", "r", encoding="utf-8") as f:
text = f.read()
# データローディングと前処理
text = text.replace("-", "")
text = text.replace(" ", "")
text = text.translate(str.maketrans({chr(0x3099): None, chr(0x309A): None}))
chars = sorted(list(set(text)))
char_to_int = dict((c, i) for i, c in enumerate(chars))
int_to_char = dict((i, c) for i, c in enumerate(chars))
sequence_length = 5
dataX = []
dataY = []
for i in range(0, len(text) - sequence_length, 1):
seq_in = text[i : i + sequence_length]
seq_out = text[i + sequence_length]
dataX.append([char_to_int[char] for char in seq_in])
dataY.append(char_to_int[seq_out])
model = Net(1, 128, len(chars)).to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)
train_data, val_data, train_label, val_label = train_test_split(
dataX, dataY, test_size=0.2
)
train_dataset = MyDataset(train_data, train_label)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
val_dataset = MyDataset(val_data, val_label)
val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False)
# 開始エポックを定義（checkpointが存在しない場合は0を使用）
start_epoch = 0
# 学習履歴を記録するリストを用意
loss_list = []
val_loss_list = []
perplexity_list = []
# 最新のチェックポイントを見つける
list_of_files = glob.glob("model_epoch*.pth") # チェックポイントファイルのリストを取得
if list_of_files: # チェックポイントが存在する場合
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r"\d+", latest_checkpoint)[0])
# チェックポイントをロード
checkpoint = torch.load(latest_checkpoint)
# モデルと学習履歴をロード
if "model_state_dict" in checkpoint:
model.load_state_dict(checkpoint["model_state_dict"])
if "loss_list" in checkpoint:
loss_list = checkpoint["loss_list"]
if "val_loss_list" in checkpoint:
val_loss_list = checkpoint["val_loss_list"]
if "perplexity_list" in checkpoint:
perplexity_list = checkpoint["perplexity_list"]
# 学習を再開
for epoch in range(start_epoch, 100):
loss, training_time = train(epoch, model, train_loader, criterion, optimizer)
loss_list.append(loss)
val_loss = evaluate(model, val_loader, criterion)
val_loss_list.append(val_loss)
perplexity = calculate_perplexity(val_loss)
perplexity_list.append(perplexity)
print(
f"Train Epoch: {epoch+1} \t Train Loss: {loss:.6f} \t Val Loss: {val_loss:.6f} \t Val Perplexity: {perplexity:.6f} \t Training Time: {training_time:.2f} min"
)
# チェックポイントを保存
torch.save(
{
"epoch": epoch,
"model_state_dict": model.state_dict(),
"optimizer_state_dict": optimizer.state_dict(),
"loss": loss,
"loss_list": loss_list,
"val_loss_list": val_loss_list,
"perplexity_list": perplexity_list,
},
f"model_epoch{epoch+1}.pth",
)
Train Epoch: 47 Train Loss: 3.405753 Val Loss: 3.214793 Val Perplexity: 24.898146 Training Time: 14.76 min
続いて、履歴表示用のコードです。
import glob
import os
import re
import matplotlib.pyplot as plt
import torch
# 損失のプロット
def plot_loss_and_perplexity(loss_list, val_loss_list, perplexity_list):
fig, axes = plt.subplots(nrows=3, ncols=1, figsize=(6, 6))
axes[0].plot(list(range(len(loss_list))), loss_list, "-b", label="training loss")
axes[0].legend(loc=0)
axes[0].grid()
axes[1].plot(list(range(len(loss_list))), loss_list, "-b", label="training loss")
axes[1].plot(
list(range(len(val_loss_list))), val_loss_list, "-r", label="validation loss"
)
axes[1].legend(loc=0)
axes[1].grid()
axes[2].plot(
list(range(len(perplexity_list))),
perplexity_list,
"-g",
label="validation perplexity",
)
axes[2].legend(loc=0)
axes[2].grid()
plt.show()
list_of_files = glob.glob("model_epoch*.pth") # チェックポイントファイルのリストを取得
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r"\d+", latest_checkpoint)[0])
# チェックポイントをロード
checkpoint = torch.load(latest_checkpoint)
plot_loss_and_perplexity(
checkpoint["loss_list"],
checkpoint["val_loss_list"],
checkpoint["perplexity_list"],
)
最後に、生成用のコードです。百人一首を生成してみました。
import glob
import os
import re
import numpy as np
import torch
import torch.nn as nn
sequence_length = 5
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
class Net(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
super(Net, self).__init__()
self.hidden_size = hidden_size
self.lstm = nn.LSTM(
input_size, hidden_size, num_layers=2, batch_first=True, dropout=0.5
)
self.dropout = nn.Dropout(0.5)
self.bn = nn.BatchNorm1d(hidden_size)
self.out = nn.Linear(hidden_size, output_size)
def forward(self, x):
x, _ = self.lstm(x)
x = self.dropout(x)
x = self.bn(x[:, -1, :])
x = self.out(x)
return x
def generate_poem(model, start_str, length=30, top_k=3):
model.eval()
input = torch.tensor([char_to_int[c] for c in start_str]).to(device)
input = input.unsqueeze(0).view(-1, sequence_length, 1).float()
predict_str = start_str
for _ in range(length):
output = model(input)
output = torch.nn.functional.softmax(output, dim=1)
top_prob, top_index = output.topk(top_k)
sampled_index = torch.multinomial(top_prob, num_samples=1)
predict_str += int_to_char[top_index[0][sampled_index].item()]
int_seq = [char_to_int[char] for char in predict_str]
input = torch.tensor(int_seq[-sequence_length:]).to(device)
input = input.unsqueeze(0).view(-1, sequence_length, 1).float()
return predict_str.replace("\n", " ")
with open("waka.txt", "r", encoding="utf-8") as f:
text = f.read()
# データローディングと前処理
text = text.replace("-", "")
text = text.replace(" ", "")
text = text.translate(str.maketrans({chr(0x3099): None, chr(0x309A): None}))
chars = sorted(list(set(text)))
char_to_int = dict((c, i) for i, c in enumerate(chars))
int_to_char = dict((i, c) for i, c in enumerate(chars))
list_of_files = glob.glob("model_epoch*.pth") # チェックポイントファイルのリストを取得
latest_checkpoint = max(list_of_files, key=os.path.getctime) # 最新のチェックポイントファイルを取得
# ファイル名からエポック数を抽出
start_epoch = int(re.findall(r"\d+", latest_checkpoint)[0])
# チェックポイントをロード
checkpoint = torch.load(latest_checkpoint)
# ベストモデルのエポックを取得する
best_epoch = checkpoint["perplexity_list"].index(min(checkpoint["perplexity_list"]))
# ベストモデルのチェックポイントをロードする
best_model_checkpoint = torch.load(f"model_epoch{best_epoch+1}.pth")
# モデルにベストチェックポイントのパラメータをロードする
model = Net(1, 128, len(chars)).to(device)
model.load_state_dict(checkpoint["model_state_dict"])
print(
f"Loaded the model from epoch {best_epoch+1}, which has the lowest perplexity.\n\n"
)
# 詩の生成
for i in range(100):
start_str = text[np.random.randint(0, len(text) - sequence_length - 1) :][
:sequence_length
]
print(f"生成AI 百人一首 {i+1}")
print(generate_poem(model, start_str, length=35, top_k=3))
print("\n")
Loaded the model from epoch 51, which has the lowest perplexity.
生成AI 百人一首 1
あさくそいまはかりかねのなみのかな かせかのはるのかすにはなはたのはとのみつのみ
生成AI 百人一首 2
しさにいさかなしき あきのかりかな かせみたのはとはこころのはとのこころのかはな
生成AI 百人一首 3
かせすすしきはなのみののはつになくなり あきのよのなみたのはるにはかなくものかけ
生成AI 百人一首 4
あさつゆ あきかせにふとのかりになみしかな いつかたにあはれはなのはなのみととき
生成AI 百人一首 5
のうらやふくれ あきかせになみたのみかきにかすののはののなみたかな あきかせにか
生成AI 百人一首 6
うすむらさきにける いまのかはらにはかりのなかにかすみかたのあきのゆふくれのあま
生成AI 百人一首 7
きみとおもへは かりかねのはるのはるかせのみつにかはらむ あきのきのかせのかせの
生成AI 百人一首 8
むすひあけのつきのかけのかけもとのはなのはるのかすになかるる あまのとものはなの
生成AI 百人一首 9
くれなゐにかへるなりらむ あきのかはらぬかすにはなはたつにかへるなるらむ いかに
生成AI 百人一首 10
たふくままのはとのみつのはかな あきのよのかせみにはかくれかみのみのをのへつはと
生成AI 百人一首 11
くよねぬらのはなのはなのはるかせみのかけにかすみたかはるかな あきのきのはなのか
生成AI 百人一首 12
のゆふへなるけり あきのよのつき いつしかと あまのかはのみちにはかりはるかせに
生成AI 百人一首 13
てはいかにしるへとのはるはなのはるかな あきのよのつき いつかなるはるのはなのは
生成AI 百人一首 14
くにそさからけれ あきはかりのなみたかな かせふけのはとはなのはなのかけをかすは
生成AI 百人一首 15
にしあきやりはともなき かすかにのみつのかけもとしのかけのはとのころはかたみのの
生成AI 百人一首 16
てかへるみののかはのみつのかすみののみののかはのみつ いつしらぬあきのゆまかせの
生成AI 百人一首 17
のそあきのつきのなみのうへのつきのなみのはなにはなはなにみたのはなのみつのみのか
生成AI 百人一首 18
おほゐかはらのはるのはなのかな あさのきのはなのみとりのみとときすのはなのはな
生成AI 百人一首 19
木の間をたるかな かせみけるかな いかかなるかはのはるのはなのかはらぬかけもみの
生成AI 百人一首 20
つりゆくひとのこころをたのみしのはのはな かりかねになくなれにはるはなかなしき
生成AI 百人一首 21
くみねにかへるかな あきかせになくなる いかにせてつきかけ あきのきのはなにしら
生成AI 百人一首 22
ねのあはゆきのはなのかはのはなはかりにかけてはなはなのかはらのはとになりにけり
生成AI 百人一首 23
のみなくむつのはとはこころのかはにみつのかけにかすかのにみかしのかせのかはにみつ
生成AI 百人一首 24
のおとをわたらにかへるかみのはるかせのこゑ いろはまてはるのなかにかへるかな あ
生成AI 百人一首 25
てわたる雲にかへるはなのみかしになりてもなきかなしき あきのかせみたのかけにしき
生成AI 百人一首 26
しからすのかけのみつはなのはなのかなしき あさのきのやまにかはらぬかすみたつるか
生成AI 百人一首 27
みやしかののみつのみつのみつのみのはるにかけしはるはなにはなはなからしきはなのか
生成AI 百人一首 28
かはおとたれてもるるかなもかはらぬかすのかせのみたかなしら いつしかもこそなくら
生成AI 百人一首 29
かぬまたねはとのみのかはのみつのかはのはとのこころはあきはくもゐのかけのみかきの
生成AI 百人一首 30
らむひとをおもひこそなからへきのかけにはなはたつのなからのやまのみつのかけもみか
生成AI 百人一首 31
ほそにとりはとのかけ いかかなのかけのみのかはのなみのはなのみつのはなのみととき
生成AI 百人一首 32
り いくよとのかはのはなはかなしらぬはるのはかすにかけてはなにかへりともなきかな
生成AI 百人一首 33
よさむのさくらになかるらむ いまかかにかりける かすかののみののはなのはなはなに
生成AI 百人一首 34
つのはまへともしののはなのみつのはるのはるはなのみとのうらにあきのゆふくれ かり
生成AI 百人一首 35
ぬらしつつ あさひきのやまかせ あさのかはのなみのかはらぬかせになみのはなのはか
生成AI 百人一首 36
露人かけつつ かせかののなき かりのとはなにはのかすみのはるのはるのかせにはとは
生成AI 百人一首 37
しあはれにるかたにはなはたつねる かりかねのはるのはなはしらぬはなのはかなきみの
生成AI 百人一首 38
くへのくもにかへるとも かすみたのみつのみつのかはのみつのかけにはるかせのはなに
生成AI 百人一首 39
にふきそめるかはなくさきのはとのなからはるかすのはかたのはなにかすのみかしははと
生成AI 百人一首 40
ふ よにここのへのはなにしくらむなからへとはなからのはなのみとりもかへるとも あ
生成AI 百人一首 41
ふるしくれにるかたになみのうらにあらしのかけのみつのみつはなのみつはなのはかりに
生成AI 百人一首 42
さそはれぬかけしはかりのなかはのはるはなのかけのはるのはるははるはなのかけにしら
生成AI 百人一首 43
なもうし いきかせのふとはなからしのはなのはかな あきかせになみくものかは あき
生成AI 百人一首 44
くるふちさののはな いつくものはかりはあらしのやまのはのはなにかすかののなからの
生成AI 百人一首 45
なあひみるはかりはなかなかにかな あさかのはとはことにはかりはあきのゆふきれ か
生成AI 百人一首 46
かせのふくさはのなみのうらにあきのよふつきのなかはしきのはとにかへるなりけり い
生成AI 百人一首 47
や春をすくれのあらしはのつゆになからしのはなのかな いつかたにかへるなきこころは
生成AI 百人一首 48
せのきこえぬしたのはなのはるのかすのみたのはなのはかなき あきのよのつき かりは
生成AI 百人一首 49
たかあきのかせみのはとのことははかりはあきのよのつき かりはつのはるはかなきの
生成AI 百人一首 50
れわくなり いまはかはらぬはるにかけてもかはらぬかけのかけにはなのみつにはとにこ
生成AI 百人一首 51
ちひさしきにかへるはとはころもかな かすきのはるかせのみかきのはとになりはとにな
生成AI 百人一首 52
れやまさくらかりはとにかけるかりにはかりのあらしのやまかせのかけのはとのみかはの
生成AI 百人一首 53
もかれのくさはかせみたつのかはになるにかすみかたのはとのなかめのあきのよふくるの
生成AI 百人一首 54
をかのあけほの あさひきのかせのはなにはなにかへるとも あきのかせみにたきりはる
生成AI 百人一首 55
たちわかれのはとにみたるてもときはかすみにはなのみつのはるのかせにはるかせにはな
生成AI 百人一首 56
みましまくさにかへりつつ いまはまのかすみにはかくもなくなり かすみたのはとはな
生成AI 百人一首 57
ほにいてねはとのみのはるにあらしにはかりのはとにみたれる かすかたのはるかせにな
生成AI 百人一首 58
ひのみなからへし いまはかはなみたのはるははとのかはのなかはのみのをはなのはなの
生成AI 百人一首 59
きをはあらしはのつき あきはののつきにかけるはなのはなのはなのかけのみかは あき
生成AI 百人一首 60
のさくらはなのみとのかけ いつしへのはとのころもかたのみのかすのはるのはかりには
生成AI 百人一首 61
このあはれなるらむ かすみたにかへるとも あまのはらのあらはのはるかせみかたのあ
生成AI 百人一首 62
らこころそくるる かすかののみつのみつのかすみたのかけのかけにかすかな かりかね
生成AI 百人一首 63
にふりそめのうへのはとになからしはのはな かすみけはやまのはにかへりなるらむ あ
生成AI 百人一首 64
とせまてまかきはかりのみとはなのかなみつかせ かすみたのかけのかせにかはるらん
生成AI 百人一首 65
てかかるつつのはなのみとりにるはともなくなる あきはきのかけのみかはのみのをかの
生成AI 百人一首 66
くもてにときかけ あきのきのはなのはかりのはとのみかしははとのみののはつのなみに
生成AI 百人一首 67
ちるらむ あきのよのつきにかへらむ かりはともかな かすみつきのかはらのあらしに
生成AI 百人一首 68
きかなおいにるはるかせのはなのかはなみたになかめつ かすみたにみつのかはのはるは
生成AI 百人一首 69
ゆにさくなり いつしかと いつしへにかへるかな かりかすにかへるとものかりのなき
生成AI 百人一首 70
そよりくるのかせのみつのみつのみのかけにはかりはなからのはとのみつにかけしのはか
生成AI 百人一首 71
りしつのまのかすみたのかけにかけしき かりのなるにかへるかな いかにせてつきのか
生成AI 百人一首 72
みむとおもへことにはるのみつのみかしのかけのかせにはるのあきのよふつつ いまのま
生成AI 百人一首 73
てゑまししのかりのなからのはなにしきのはなにかへるとはなみたのあきのよのつきにか
生成AI 百人一首 74
くらたひにのかはのはとのころははなのみつにしきのはなにしくれのあきのゆふくれ あ
生成AI 百人一首 75
ほとときすかな いかなれはかなきみのはなのはるのあらしのはるのかけにはかなき か
生成AI 百人一首 76
もりのいくよにはなのかけにしらぬみとるかは あきのよのつか あまのはらのはなはし
生成AI 百人一首 77
ふしとなるらむ かりかねになりはかりはなにはのあらしのはるはなのはなのかけにはな
生成AI 百人一首 78
よに むらさくらはるはかりはるのはるのかせみたのかはのなみにはとはかりにはるかす
生成AI 百人一首 79
て うきよのはなのはなにしらぬかりのなきのはなのみかはのはるはなのはるのあらしの
生成AI 百人一首 80
れころもたらのはなにはかくれてのはるかせのはるはかりはあきのよのつかはるらむ あ
生成AI 百人一首 81
ねふり立つかな かりかねはとになるはとになりぬける あさひきはやなかれのかけのは
生成AI 百人一首 82
つろひにけり いまのまにはなのみとときすなくなりはとのかはのはとのこころはかたみ
生成AI 百人一首 83
つのはるとはかりのなかにかへりなる いかなせむかはのみつのはるのかすのかけのみか
生成AI 百人一首 84
たくもにすきのなのはなはかたみにかへるかな あまのはらはなかなしら はるのはなの
生成AI 百人一首 85
こすゑのいろになくらむ あまのかはなみのみつのかけのかはのみつのみつのかけにしら
生成AI 百人一首 86
わかすつかな いかにせむかしのかけにはなのはるかな あきのきのかはらのはなはかり
生成AI 百人一首 87
ふかけてけふりかすみかしのはなはなにみかせてのはなはしのののはつのはとのみつはな
生成AI 百人一首 88
ぬれやつくものはかりはなのはかりのなみのうへのはなかな あまのかはなみ いつしら
生成AI 百人一首 89
すなくやさくらのなみのかけのかせみたかへりとはかりはるのはるははるかせにかへるか
生成AI 百人一首 90
まよりしくれのはなのかなしきのなにのはるのかせのはとのみつにしくるはつにかりのか
生成AI 百人一首 91
かくたかすのやきにしきのかけのみつのみかきにのはるのはかりのはなにかけしのはなの
生成AI 百人一首 92
ゆかれのむとにはなにみかせてのはとのなからしきのかなきのはなのかはのみつのかけに
生成AI 百人一首 93
もほえすきのかけのかけのかけにしき あさかののみつ かせかののはるのかけのかはの
生成AI 百人一首 94
る かたはかみのみつのはるかせのこゑ いつとからかな あさかののみののかたのこと
生成AI 百人一首 95
しかのおきにはなのはるははるかな あまのはらふかなしき いかにせむかはのなみのは
生成AI 百人一首 96
かけもすみのはなにはかりのあきのゆふきれにかへるともなからのやまにはしくれにはな
生成AI 百人一首 97
ほしともしらぬみとるかな いまかなのかけのはるのあきのゆまつきかせにはるのはなに
生成AI 百人一首 98
まもなきつきのかはらのあまのかはのはなにはかなしき あさひきのやとのはとのみつの
生成AI 百人一首 99
になこしのなき かせみたにはなはかりのあきのつきかな あきのかりのあきのゆまくれ
生成AI 百人一首 100
を吹く風にかすかな かりかねのみとにしられするるかな いつかたにはるかすのはなの
和歌生成AI、引き続き改良を続けたいと思いますので、またよろしくお願いします。
assistant:
こちらこそ、質問に答える機会をいただきありがとうございます。学習から生成までの一連の流れを改善できたとのことで、とても嬉しく思います。和歌生成AIのプロジェクトがさらに進展することを楽しみにしています！
また何か問題や質問がありましたら、いつでもお気軽にお申し付けください。引き続きお手伝いできることがあれば喜んで対応させていただきます。今後ともよろしくお願いいたします。