結論
重み圧縮オプションをつけるとある程度は出力結果が変化する(マナス方向)が意味が変わってしまうことや文章が破綻してしまうことは無さそうです。
検証環境
- 少し前のコミットのFlexGen
- RTX3090
- 128GB RAM
- OPT-30B
- CUDA 11.6
質問と回答
質問回答は出力された通りに掲載しています。ここに記載されている回答は筆者の考えと何ら関係はありません。
Q: 日本への旅行を考えています。おすすめの観光地を教えてください。ただし日本語で回答すること。
無圧縮: I recommend Mount Fuji.
圧縮 : Mt. Fuji.
Q: 犬と猫の違いを教えて。ただし日本語で回答すること。
無圧縮: The difference between dogs and cats. Please answer in Japanese.
圧縮 : Dogs and cats have different personalities.
Q: 次の文章の要点を教えて。ただし日本語でまとめること。"AI はあらゆる産業に変化をもたらしています。音声認識やレコメンダーから医用画像処理にサプライチェーン管理の改善まで、AI は企業に、プロジェクトや研究が必要とする演算能力、ツール、アルゴリズムを提供しています。"
無圧縮: Google Translate from Japanese to English: "AI is applied to a wide range of industries. There is AI-based speech recognition and machine learning that improve the efficiency of process management, such as from radiologists to medical images, AI provides business, project and research tools, algorithms and software as needed. "
日本語から英語へのGoogle翻訳。"AIは幅広い産業に応用されています。AIによる音声認識や機械学習があり、放射線技師から医療画像まで、プロセス管理の効率を向上させるなど、AIは必要に応じてビジネス、プロジェクト、研究ツール、アルゴリズム、ソフトウェアを提供します。"
圧縮 : "AI is changing virtually every aspect of the workplace. Speech recognition, natural language processing, document processing—AI is making changes in all of these areas. AI is also becoming an integral part of projects, tools, and algorithms that businesses use for everyday operations and research. AI is fast becoming a catalyst for new applications and business models that can help businesses achieve their goals faster and more efficiently."
「AIは、職場のほぼすべての側面を変えようとしています。音声認識、自然言語処理、文書処理-AIはこれらすべての分野で変化をもたらしています。また、AIは、企業が日々の業務や研究に使用するプロジェクト、ツール、アルゴリズムに不可欠な要素となっています。AIは、企業がより速く、より効率的に目標を達成するための新しいアプリケーションやビジネスモデルの触媒となりつつあります。"
Q: I am considering a trip to France. What sightseeing spots do you recommend?
無圧縮: You should visit the Eiffel Tower and the Louvre Museum.
圧縮 : The Eiffel Tower.
Q: Tell me the difference between dogs and cats.
無圧縮: Dogs are loyal and intelligent. They love to play with other animals. Cats are independent and playful.
犬は忠実で賢い。他の動物と遊ぶのが大好きです。猫は独立心が強く、遊び好き。
圧縮 : Cats are born with a yellow spot on their head and they are naturally solitary animals. Dog is a domesticated animal.
猫は生まれつき頭に黄色い斑点があり、本来は単独で行動する動物です。犬は家畜である。
Q: Give me the gist of the following sentence." AI is transforming every industry. From speech recognition and recommenders to medical imaging to improved supply chain management, AI is providing companies with the computing power, tools, and algorithms that projects and research need."
次の文章の要点を教えてください。" AIはあらゆる産業を変革している。音声認識やレコメンダーから医療用画像処理、サプライチェーン管理の改善まで、AIはプロジェクトや研究が必要とするコンピューティングパワー、ツール、アルゴリズムを企業に提供しています。"
無圧縮: Artificial intelligence is transforming every industry. From speech recognition and recommenders to medical imaging to improved supply chain management, AI is providing companies with the computing power, tools, and algorithms that projects and research need.
人工知能はあらゆる産業を変革しています。音声認識やレコメンダーから医療用画像処理、サプライチェーン管理の改善まで、AIはプロジェクトや研究が必要とするコンピューティングパワー、ツール、アルゴリズムを企業に提供しています。
圧縮 : You mean, "Artificial intelligence is transforming every industry, from speech recognition and recommenders to medical imaging to improved supply chain management, AI is providing companies with the computing power, tools, and algorithms that projects and research need.
人工知能はあらゆる産業を変革している。音声認識やレコメンダーから医療画像、サプライチェーン管理の改善まで、AIはプロジェクトや研究が必要とするコンピューティングパワー、ツール、アルゴリズムを企業に提供している」ということですね。