概要

Googleのtransformerのサンプルを動かそうとしたところ2024年12月現在では動かなかったので、修正して動くようにしました。
https://colab.research.google.com/drive/1GfSTyJPwXNyUV13ozFpeihbXbldkUAEk?usp=sharing
2024年12月現在正常に動くことを確認しました。
ご自由にお使いください。

詳細

GoogleのTransofomerのサンプルは、tensorflowでポルトガル語から英語に翻訳するサンプルです。日本語で説明してくれているのが嬉しいですね。
TransfomerのAPIを使っていなく、全ての要素をtensorflowだけを使って書いているので、これからTransfomerを改造して性能を上げたい人におすすめです。
Apache Licenseなので改変して再配布は大丈夫なはずです。

エラー原因

主に古いことが原因です。データセットのロード方法が少し変わっているのと、引数をtraining = trainingというようにしっかり指定しないとcolabに怒られるみたいです。