0.はじめに
Qwen 3.8-Max とは、Alibaba が Qwen 3.8 ファミリーの下で開発した次世代の大規模言語モデル（LLM）で、Qwenシリーズでは、コーディングにおいて最先端の性能を提供しています。(本記事執筆の2026/8/23時点の状況)
今回の記事では、そのQwen3.8-Maxを使用してAWS,AzureのIaCについての質問をプロンプトに投げ、後述の指標を測定する事で性能検証方法を試してみたものです。
AlibabaCloudでAIを使用するのが初めての方向けに、AlibabaCloudからQwenを使用するまでの手順についても1章で説明をいたします。
なお、本記事は個人的に興味・関心をもった事案を検証したものです。
1. AlibabaCloudの操作
AlibabaCloudのアカウントは作成済の前提条件で、AlibabaCloudにログインをして、画面上部のプロダクトを選んだ後、左側のナビゲーションメニューから「AIと機械学習」を選択しますと、画面右側にメニューが表示されます。
Alibaba Cloud Model Studio をクリックします。
モデルの選択画面で Qwen3.8-Maxのところをクリックします。
QwenCloudのプロンプト画面が起動します。
2. 検証方法
2.1. 測定値
プロンプトを入力し、TTFT*、Total(回答までの秒数)、Input消費トークン、Output消費トークンの値を測定します(値はプロンプトの出力後に表示されます)
＊TTFTとは、大規模言語モデル（LLM）などの生成AIにリクエストを送信してから、最初の1文字目（最初のトークン）が出力されるまでの時間を指す指標（レイテンシ）のことです。
2.2. テストプロンプト
以下のようにテストプロンプトを入力し、実行します。
AWSのS3を作成するCLoudFormationのYamlファイルのサンプルを作成してください クローズドな環境でS3バケットを1つ作成し暗号化やライフサイクルはサンプルの設定値をつけた例にしてください。
画面は以下のようになります。
出力結果は、Yamlファイルと、その解説、デプロイする場合のコマンド投入サンプルを出力し、更に、先ほどの測定値が最終行に表示されます。以下のような出力結果です。
3.プロンプトの検証結果
プロンプトNo.1
AWS S3とは
プロンプトNo.2
AWSのS3を作成するCLoudFormationのYamlファイルのサンプルを作成してください クローズドな環境でS3バケットを1つ作成し暗号化やライフサイクルはサンプルの設定値をつけた例にしてください。
プロンプトNo.3
AWSのS3に相当するAzureのBlobの設定をCloudFormationのyamlファイルからAzureのBicepsの設定ファイルに変換するツールを作りたい。まずS3の各設定値からBlobの設定値に対応するものとしないものを提示してください。そのうえで対応するものは、CloudFormationのyamlファイルからAzureのBicepsの設定ファイルに変換するpythonプログラムにしてください
プロンプトNo.4
AzureのBlobを作成するbicepsファイルのサンプルを提示してください
上記の各プロンプトを実行した場合の結果は以下のようになりました。
表中の値の意味:TTFTミリ秒、Total秒、Input消費トークン、Output消費トークン
4.考察:
今回は、ストレージリソースの作成同士で、AWSのS3(AWS CloudFormation Yamlファイル)と AzureのBlob(ARM bicepファイル)の出力のプロンプトで検証を行ってみました。それぞれの出力ファイルで有効なものができていることは確認しました。
AIの性能をどうやって比較すればいいか、という問いについて、この4つの指標と生成物の有効性(実際に実行して使えるものか)で他のAIモデルとの比較が行えると考えました。