huggingface / transformersにおいてDatasetの段階ではstringのままにしておきたい場合とTokenizerで処理した状態にしておきたい場合のDatasetとDataLoaderの実装例

Kazutaka Nishiwaki@nishiwakikazutaka
株式会社日本総合研究所先端技術ラボ所属。自然言語処理に興味があります。投稿した記事は個人の見解であり、所属する組織の公式見解ではありません。
@skyeanka