モデルサイズは fp16 で 45 GB くらいです.
8bit にして 3090 24 GB に収まります!
(8bit はバグがありましたが最新 transformers で修正されました https://github.com/huggingface/transformers/issues/20287)
日本語
一応 FLAN-T5 は日本語も学習しているようですが, そのままでは日本語は化けてしまいます.
Tokenizer あたり調整してあげないといけないっぽそうです(面倒だネ...)