LLaMA.cppを使うと4-bit量子化を行うことが多いと思う。
そこで一つ疑問に思ったのがをFP16 = 2^16 = 65536 を 4Bit = 2^4 = 16にまで減らして大丈夫なの？？と言うことである。

検証環境

プロンプト

以下のプロンプトを入力し観察する。今回は学習されていそうと言うことで英語と中国語、そして普段使っている日本語のプロンプトを与えた。

質問(ja)

Q:フランスの観光場所はどこ? A:

翻訳(ja->eng)

(Q4) Cats are affectionate animals.

(FP16) Cats are cute animals.

翻訳(zh->eng)

(Q4) Cats are the best animals

(FP16) cats are lovely animals

(Q4) 旅行を予約しよう !

(FP16) Paris

(Q4) You can travel all over the country, there are so many beautiful places.

(FP16) Visit Paris, the capital city of france is one of the most romantic and beautiful cities on earth.

(Q4) The best places for sightseeing and vacation are Paris, Versailles (which is located nearby), Lyon, Marseille.

(FP16) The best places are the Eiffel Tower, Arc de Triomphe and of course Louvre Museum.

65Bモデル(Q4のみ)。一部のプロンプトのみ

(Q4) 猫はかわいい動物ですね。

(Q4) Too many choices!

4bit量子化すると入力に対する理解能力が著しく低下するようである。