1M級の言語モデルで埋め込み行列の34.9%を消す — 語の同一視の実装と測定
個人で、1M級（パラメータ100万規模）の日本語言語モデルを「ノートPCに収まる大きさ」まで圧縮する研究をしています。CPUのみ、学習も推論も手元です。 この記事は、3か月で試した100を超える...
0
0
Comment0
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles