Pong Game

Hardware Description Language Advent Calendar 2023 の第11目です。今回強化学習を目的とし、最初のステップとしてレトロビデオゲームを開発しました。CNNの回路は大規模と予想するため、ゲーム自体は単純なPongとしました。

PongゲームをYoutubeで探すと図1のような動画が見つかりました。

　　　　　　　　　　　　　　　　　図1 Pongゲーム

これを参考にしつつ、bsvによりプログラミングを行います。

強化学習の題材としてのPong

機械学習のうち、教師無し学習の一種に強化学習があります。例えばゲームを実行させ、行動の結果に報酬を与えることで、その行動を強化するものです。Pongゲームはボールをパドルで打ち合い、ボールをパドルで打ちそこなえば相手が得点するゲームです。従って、できる限り長くボールをパドルで打ち返し続けると報酬を与えるようにします。

BSV

言語はBSV (Bluespec System Verilog)を採用しました。ChatGPTにC/C++とBSVの利点欠点について比較してもらいましたが、C/C++の利点は過去資産が使える一方で、欠点はハードウエア設計にはあまり向かないのとのことでした。

一方で、BSVはプロセッサ回路、キャッシュコントローラ回路等様々な回路を構成するのに向いており、欠点としてはドキュメントやユーザベースなどの環境とのことでした。

それぞれ一長一短ありますが、BSVはその強力な自動FSM合成により、Cにおける条件文やループ文、関数に至るまでFSM(ステートマシン)に合成されます。そのためC/C++の利点が大幅に減少する結果となります(ChatGPT調べ)。

移植例を以下のコードに示します。これは3の倍数でアホになってそれ以外では値を集積するという例のための例のコードです。

   int i, a;
   a = 0;
   for (i = 1; i <= 10; i++) {
      if (i % 3 == 0) printf("%d aho\n", i);
      else a += i;
   }
   printf("a = %d\n", a);

BSV:

    Reg#(int) i <- mkRegU,
    	      a <- mkRegU;
    a <= 0;
    for (i <= 1; i <= 10; i <= i + 1) seq
       if (i % 3 == 0) $display("%0d aho", i);
	   else a <= a + i;
    endseq
    $display("a = %0d", a);

そもそもverilogなので、verilog由来の非互換性である++演算子が無い、代入=を<=と記述、printf()を$display()と記述等のような書き換えは必要ですが、この例のようにwhile, for, if等の複雑なシーケンスを持つアルゴリズム部分をそのまま移植することが可能です。

特に、BSVで書いたコードをVerilogに変換可能なBSVコンパイラのbscが最近オープンソースとなったため、誰でも自由に利用可能です。

BSVをより深く知るためには

残念ながら日本語のサイトはほとんどありませんし、英語のサイトも情報がふんだんにあるとはいえません。これはユーザベースの少なさが原因でしょう。開発元のBluespecはこの言語環境を広めようと販売していましたが、思わしくなかったのかRISC-VのIPプロバイダに転向しました。その一方で我々にとっての福音は、ツールビジネスをやめたのでコンパイラがオープンソース化されたことです。

これは正しい戦略だと考えられます。現状のように、無償でさえユーザベースが広がりにくい言語障壁のため、ツールが有償であってはそれを乗り越えることは不可能だと思われます。

以下に参考となるポインタを示します。

Bluespec⇒本家、ただしRISC-V情報のみ
bsc⇒BSVコンパイラ
BSVチュートリアル⇒Bluespec CTOによるチュートリアル
Cybernet⇒BSVの特徴
BSV (Bluespec SystemVerilog)によるスペースインベーダーの再設計
BSVを用いたサウンドFSMのシーケンスベースによる再設計
FS Microの記事

Cmod A7

FPGAボードは図2のCmod A7を選びました。これはDigilentから販売されているArtix 7シリーズのFPGAの評価ボードで、その特長は小さくてUSD 99と安価なことにあります。

　　　　　　　　　　　　　　　図2 Cmod A7ボード

CmodA7toPMODボードの設計

しかしながらArty A7ボードがPMODインタフェースを4個搭載しておりそのままPMOD-VGAやPMOD-Audioボードを接続できるのに対し、このボードはPMODが足りず画面が出ません。従って拡張PMODインタフェースボードを設計する必要があります。

拡張ボードはCmodA7toPMODと名付けました。ボード上に

Cmod A7 FPGAボード
PMODピンソケットコネクタ x 4
ACアダプタコネクタ(MJ-179PH)
5V-3.3V電圧降下コンバータ(NJU7223F33)
パドル用ピンソケット

等の部品を搭載します。

基本的にはFPGAの端子が多数出ているので、それに対してPMODインタフェースを接続するだけです。しかしながらソケット多段に信号を通すとノイズが大きくなるため、バッファICを入れました。

パドルコントロール

Pongの実装でパドルコントロールのためのツマミが必要となります。これはアナログ信号であり可変抵抗器で実装します。幸いCmodA7には2chのアナログ入力があるので、単純に可変抵抗器を接続すればOKです。

FPGAボード内のアナログ入力は図3のとおりです。外部の0～3.3Vの電圧を抵抗で分圧し、FPGAのADC入力を0～1Vの範囲に制限しています。

　　　　　　　　　　　　　　　図3 CmodA7 ADC入力回路

可変抵抗器及び直列の固定抵抗値を決定するため、アナログ回路シミュレータであるLTSpiceを使用しました。Spiceシミュレーションにより、固定抵抗10KΩを付けた場合の図3のADCへの入力電圧は0.20～0.94Vとなりました。

CmodA7toPMODボード回路

図4にCmodA7toPMODボード回路回路図を示します。

　　　　　　　　　　　　　図4 CmodA7toPMODV6ボード回路図

PCBAは格安のJLCPCBに依頼しました。約20 USDで実装及び部品代込みです。

　　　　　　　　　　　　　　　図5 Gerber図

図6に部品を実装したCmodA7toPMODボードを示します。

　　　　　　　　　　　図6 CmodA7toPMODボード写真

FPGA内部ブロック図

図7にPongのFPGA内部ブロック図を示します。左からクロックサブシステム、ADCサブシステム、ゲームサブシステム、上に行ってグラフィックサブシステム、下に行ってサウンドサブシステムから構成されます。

　　　　　　　　　　　　　　図7 Pongブロック図

これらのモジュールのうち、クロックサブシステム、グラフィックサブシステム、サウンドサブシステムはほぼ過去部品の流用で、新規設計はゲームサブシステムとADCサブシステムのみです。以下に各サブシステムについて説明を記します。　

グラフィックサブシステム

基本的には過去記事のとおりであり、SVGAのタイミング信号を発生します。他にはゲームサブシステムと共用するデュアルポートRAMがあります。さらに今回赤、緑、青のような原色ではなくレトロな中間色を出すための色変換回路を設けています。

ゲームサブシステム

新規設計の回路です。過去にインベーダーゲームを開発したようにFSMをBSVで書いていきます。BSVのFSMライブラリは非常に強力であり、whileやifが使えるので、ステート分解をせずにそのまま処理を書いていけば、bscがそれをステートマシンに変換してくれます。

メインループにおいて、

ボールの動きと壁やパドルに対する衝突判定
左パドル：ボールに追従(たまにミス)
右パドル：ADC値による動き
アウトの場合の得点の表示

を順に呼び出します。煩雑になるためボール制御のコードは示しませんが、基本的にif文の塊であり、壁の座標やボールが次に移動する先の空間の値の読み取りによる衝突判定等です。その他、跳ね返ったときのベクトルの反転等を扱います。ボールが右や左の端からこぼれた場合の処理も行います。

以下にメインループのコードを示します。

    Stmt main = seq
      initialize;
      while (True) seq
         ball_motion;
         paddle_motion;
         if (counter <= 4)
            wait_timer(`TICK_WAIT4);
         else if (counter <= 8)
            wait_timer(`TICK_WAIT3);
	     else
            wait_timer(`TICK_WAIT2);
      endseq // while (True)
   endseq;
   mkAutoFSM(main);

ball_motionやpaddle_motionのように、BSVでは処理をまとめてシーケンスとして返す関数を持つことができます。このコードではcounter変数をボールがパドルで跳ね返るたびに+1しています。これによりボールはパドルで4回跳ね返る毎に速くなります。

最後の行のmkAutoFSM()はシーケンス定義を自動FSM合成関数に渡しているもので、合成結果はverilogのステートマシンとなります。関数は基本的にインライン化され、1stepを1 clockで実行します。もちろんハードウエアなので同時並行処理も書け、その場合はseq-endseqではなくaction-endactionで記述します。

BSVでは本来、ある論理が発火することを意味するrule文で書くことを基本としていますが、考え方を変える必要がある点は非常にハードルが高いと思われます。一方で私が気に入っているのはこの自動FSM合成で、実はruleはほとんど書いたことがありません。

ボール方向制御

コンピュータ側のパドルの縦位置はボールと同じにしてあるため、必ずボールを打ち返します。パドルでの跳ね返りは表1のとおり。

表1　2種類の乱数とボールの方向

乱数1	bcount	乱数2	dy
0	0 (45°)	0	(dx=1に対して)+1
0	0 (45°)	1	(dx=1に対して)-1
1	3 (18.4°)	0	(dx=3に対して)+1
1	3 (18.4°)	1	(dx=3に対して)-1

乱数1で傾きの逆数であるbcountを0または3とします。乱数2で方向がプラス+1かマイナスかを決定します。合わせると、bcount=0は右方向の場合速度ベクトルが(+1, +1)または(+1, -1)です。bcount=3の場合速度ベクトルが(+1, +1/3)または(+1, -1/3)です。

上下の壁にボールが衝突するとy方向の速度dyの符号を反転させます。一方、左右のパドルに衝突するとx方向の速度であるdxの符号を反転させ、かつ上記の表により方向をランダムに変化させます。

ボール動作

ボールが人間側パドルと衝突する判定は、ボール座標のVRAMデータを読み出して行います。右パドルのVRAMデータは3であるため、移動のたびにボール座標を読み出し3であれば衝突と判断します。

パドルのy相対座標範囲は+0～25であり、これを①0～５，②6～12、③13～19、④20～25の4領域に分割します。①に衝突した場合は-45°の角度で跳ね返り、②は約-18.4°の角度で跳ね返ります。これをxとyの増分であるdx, dyに変換すれば、-45度の場合はdx=1, dy=-1であり、-18.4度の場合はdx=3, dy=-1です。

　　　　　　　　　　　　　　　　　図8 ボールの跳ね返り

ボール制御BSVコード

アルゴリズムとしては上記のようにボールの情報と対象物の情報を比較してある時点での動作を決めます。BSVはCのように構造体を持つことができます。様々なボールのプロパティを固めて保持することができます。例えば以下のコードに示すように、ボールスピード(x成分、y成分)、x座標、y座標等です。また、情報を取り出すにはCと同じようにドット.で連結して取得するところも同じです。

typedef struct {
    Int#(8) dx;
    Int#(8) dy;
    } SpeedVector_t deriving(Bits, Eq);

typedef struct {
    SpeedVector_t speedV;
    UInt#(8) bcount;
    UInt#(8) x;
    UInt#(8) y;
    } BallStatus_t deriving(Bits, Eq);

このようにstructやunion等の複雑なデータ構造が使用できるところもBSVの利点です。

サウンドサブシステム

強化学習本来の目的ではサウンドは不要ですが、ゲームとしても使用するためにサウンド機能を実装します。過去記事においてサウンドコントローラサブシステムは開発済みなので、サウンドの収集を行います。

Windows+Gによりゲームバーを呼び出し上記動画の動画をキャプチャします。次にffmpegによりwaveに変換します。これをaudacityによりカットして以下の4つのサウンドを取得します。

表2　4種のサウンド

コード	種類
1	発射音
2	パドル
3	壁
4	アウト

切り出した音声ファイルのサイズからROMの構成表を作成すると、表3のようなエントリポイントが得られます。

表3　ROM構成表

Code	Sound	Start	Size [bytes]	Entry=Start+16
1	発射音	0	1,610	0+16
2	パドル	1,610	900	1,610+16
3	壁	1,610+900	872	(1,610+900)+16
4	アウト	1,610+900+872	4,388	(1,610+900+872)+16
合計 [bytes] (16KB ROM使用率)			7,770 (95%)

サウンドステートマシン

サウンドステートマシンは基本的に、ゲームを司るFSMから表2に示すコードを受け取り、それに従った音を鳴らします。音はwave形式でROMに格納されているので、そのデータ構造を解析するFSMを設計します。

以下にBSVのソースコードを示します。

// 波形ファイルを読み込み、オーディオDACにサウンドデータを出力するFSMの定義
    
import StmtFSM.*;  // FSMを生成するためのユーティリティモジュールのインポート

// サウンドイベントと無音を表すマクロ定義
`define SOUND1    1    // 発射音
`define SOUND2    2    // パドルとの衝突音
`define SOUND3    3    // 壁との衝突音
`define SOUND4    4    // アウトの際の音
`define NULL      'h80 // 無音を表す値（8ビットPCMで中間値）

// 必要な型定義
typedef UInt#(13) Addr_t;  // メモリアドレス用の13ビット符号なし整数
typedef UInt#(8) Data_t;   // 8ビットデータ用の符号なし整数
typedef Bit#(16) Sound_t;  // 16ビット符号付PCMサウンドデータ
typedef Bit#(3) Code_t;    // サウンドコード

// FSMのインターフェース定義。外部からアクセスするためのメソッドが定義されています。
interface FSM_ifc;
   method Action sound(Code_t code);              // 音声コードを示す入力メソッド
   method Action rom_data(Data_t indata);         // ROMからのデータ入力メソッド
   method Action sync(Bool lrclk);               // 同期信号を処理するための入力メソッド
   method Action empty(Bool flag);               // FIFOが空を表す入力メソッド
   method Addr_t rom_address();                  // 現在のROMアドレスの出力メソッド
   method Sound_t sdout();                        // 音声出力データの出力メソッド
   method Bool soundon();                         // 音声が再生中かどうかを示す出力メソッド
   method Bool fifo_ren();                        // FIFOの読み出し要求の出力メソッド
endinterface

(* synthesize,always_ready,always_enabled *)
module mkSoundFSM(FSM_ifc);

// 内部ワイヤとレジスタの定義
   
Wire#(Code_t) code <- mkWire, // コードを格納するワイヤと現在のコードを保持するレジスタ
              current <- mkRegU;
Wire#(Bool) lrclk <- mkWire;  // 左右のクロック同期用のワイヤ
Reg#(Data_t) romdata <- mkRegU; // ROMから読み込まれたデータを保持するレジスタ
Reg#(Data_t) dout <- mkReg(`NULL); // データ出力用のレジスタ（初期値は無音）
Reg#(UInt#(32)) workd <- mkRegU;  // 32ビット作業用データレジスタ
Reg#(UInt#(13)) dcount <- mkRegU; // 再生カウント用の13ビットレジスタ
Reg#(Addr_t) worka <- mkRegU, // アドレス計算用の作業用アドレスレジスタ
                         romaddr <- mkRegU, // ROMのアドレスレジスタ
                         addr <- mkRegU; // 出力用アドレスレジスタ
Reg#(UInt#(8)) ii <- mkReg(0); // ループカウンタ用の8ビットレジスタ
Reg#(Bool) son <- mkReg(False), // サウンド再生中フラグ用のレジスタ
                     sonEarly <- mkReg(False), // 早期サウンド開始フラグ用のレジスタ
                     ren <- mkReg(False),  // FIFO読み込み要求フラグ用のレジスタ
                     emptyf <- mkReg(True); // FIFOが空かどうかを示すフラグ用のレジスタ

   // subfunctions
   //   READ MEM  サブ関数：メモリからの読み出し
   //     input:  worka
   //     output: romdata;
   //
   function Stmt readmem;
      return (seq
         addr <= worka;
         delay(2);
      endseq);
   endfunction

   //   READ COUNT    サブ関数：カウント読み出し
   //     input:  romaddr
   //     output: (romaddr,...,romaddr+3) => dcount;
   //             romaddr + 4 => romaddr;
   //
   function Stmt readcount;
      return (seq
         workd <= 0;
         for (ii <= 0; ii <= 3; ii <= ii + 1) seq
            worka <= romaddr + extend(3-ii);
            readmem;
            if (ii == 3) dcount <= truncate(workd<<8) | extend(romdata);
            else workd <= workd<<8 | extend(romdata);
         endseq
         romaddr <= romaddr + 4;
      endseq);
   endfunction
      
   //  Mainloop    メインループの定義
   //
   Stmt main = seq
      while(True) seq
         action
            dout <= `NULL;
            sonEarly <= False;
            son <= False;
            ren <= False;
         endaction
         await(!emptyf);
         action
            ren <= True; // consume 1 entry of Q
            current <= code;
         endaction
         await(emptyf);
         ren <= False;
         // Sync to LRCLK 
         //
         await(lrclk);
         await(!lrclk);
         delay(4);

         // Format decoding
         //
         action    
            case (current)
              `SOUND1:  romaddr <=   0 + 16;
              `SOUND2:  romaddr <=  1610 + 16;
              `SOUND3:  romaddr <=  (1610 + 900) + 16;
              `SOUND4:  romaddr <=  (1610 + 900 + 872) +16;
            endcase
         endaction
         readcount;
         romaddr <= romaddr + extend(dcount) + 4;
      
         readcount;
         romaddr <= romaddr - 1;

         // play loop
         while (dcount != 0) seq
            // Play 0
            if (sonEarly == False) seq
            // 1cycle目
               readmem;
               action
                  sonEarly <= True;
                  son <= False;
                  dout <= `NULL;
               endaction

            endseq else seq
            // 2cycle目以降
               readmem;
               action
                  son <= True;
                  dout <= romdata;
               endaction
            endseq // if

            delay(11);
            action
               romaddr <= romaddr + 1;
               worka <= romaddr + 1;
               dcount <= dcount - 1;
            endaction
         endseq // while(!終了条件)
      endseq // while(True)
   endseq; // Stmt

   mkAutoFSM(main);     // FSMを生成し実行
   
   method Action sound(Code_t incode);
      code <= incode;
   endmethod
   method Action rom_data(Data_t indata);
      romdata <= indata;
   endmethod
   method Addr_t rom_address();
      return addr;
   endmethod
   method Sound_t sdout(); 
      let bdout = pack(dout);     // 現在のオーディオデータ(dout)をパックし、16ビットのデータ(bdout)に変換します。
      let s =  ~bdout[7]; // 8ビット目（MSB）を反転させてサインビット(s)を生成します。
      return {{s,s},bdout[6:0],{7'h0}}; // オーディオデータをsignedに変換します。
   endmethod
   method Bool soundon();
      return son;
   endmethod
   method Action sync(Bool inlrclk);
      lrclk <= inlrclk;
   endmethod
   method Bool fifo_ren();
      return ren;
   endmethod
   method Action empty(Bool flag);
      emptyf <= flag;
   endmethod

endmdule: mkSoundFSM

ADC

Artix 7シリーズFPGAのADCを利用するには様々な制約があります。ADCのユーザーズガイド(UG480)に書かれていますが、DRP(Dynamic Reconfigure Register)経由で読み出します。

図9にADCのブロック図を示しますが右下にDRPブロックがあります。

　　　　　　　　　　　　　　　図9 ADC内部回路図

設計計算例

ADCから読みだした可変抵抗電圧の値をパドル座標に変換するためにはデータ変換が必要であり、その設計計算を行います。

ADC入力電圧は開始角$a$の値を$V_\text{a}$、終了角$a+b$の値を$V_\text{a+b}$として、$
\require{color}
\definecolor{pink}{rgb}{1.0,1.0,1.0}
$

VRの全角度は300°
VRの使用角はパラメータ化し、開始角a[°]、範囲b[°]
VRの全角度の際のADC入力電圧はLTSpiceの結果より、0.2～0.94[V]

これらより、使用電圧は開始角の値を$V_\text{a}$、終了角の値を$V_\text{a+b}$として、

$V_\text{L}=0.2$, $V_\text{H}=0.94$
$V_\text{range}=V_\text{H}-V_\text{L}=0.74$
$V_\text{a}=\frac{V_\text{range}}{300}a+V_\text{L}$
$V_\text{a+b}=\frac{V_\text{range}}{300}(a+b)+V_\text{L}$

次にAD変換後のデータDは入力全範囲0～1[V]を4096分割する。開始角の値を$D_\text{a}$、終了角の値を$D_\text{a+b}$として

$D_\text{a}=4096V_\text{a}=\frac{4096V_\text{range}}{300}a+4096V_\text{L}=10.1a+819.2$
$D_\text{a+b}=4096V_\text{a+b}=10.1(a+b)+819.2$
$D_\text{range}=10.1b$

一方、y座標の制約は以下のとおりであり、上限$y_\text{top}$と下限$y_\text{bottom}$の値でクリッピングが必要。

$y_\text{bottom}=44$, $y_\text{top}=186$
$y_\text{range}=y_\text{top}-y_\text{bottom}=142$

これらからy座標を求めると、ADCのデータを$D$とすれば、

$y=\frac{y_\text{range}}{D_\text{range}}(D-D_\text{a})+y_\text{bottom}=\frac{142}{10.1b}D-\frac{142}{b}a-\frac{142\cdot 819.2}{10.1b}+44\
=\frac{224.9}{b\ll4}D-\frac{142}{b}a-\frac{11514}{b}+44=\frac{225D-2272a-184216}{b\ll4}+44$

y式中のシフトは固定小数点演算を行うために分母分子を16倍しているものです。さらに最小値$D_\text{a}$、最大値$D_\text{a+b}$で入力ADCデータのクリッピングを行います。

$D_\text{a}=10.1a+819.2=(162a+13107)\gg4$
$D_\text{a+b}=10.1(a+b)+819.2=(162(a+b)+13107)\gg4$

以上より、完成したBSVコードは以下のとおりです。

package FixedPointConverter;
        
    import Vector::*; // ベクター操作のためのモジュール
       
    interface ConverterIfc;
        method Bit#(12) convert(Bit#(12) adcValue);
    endinterface
    
    // ADCの値から座標に変換する演算器（固定小数点演算を使用）
    (* synthesize, always_ready, always_enabled, no_default_clock, fault_reset *)
    module mkFixedPointConverter #(
        parameter Bit#(12) a,  // 角度の最小値
        parameter Bit#(12) b   // 角度範囲
    ) (ConverterIfc);
    
        method Bit#(12) convert(Bit#(12) adcValue);
            // パラメータの拡張
            Bit#(20) extendedA = zeroExtend(a);
            Bit#(20) extendedB = zeroExtend(b);
    
            // 座標の下限と上限に対応するADC値の計算
             Bit#(20) adcMinValue = (162 * extendedA + 13107) >>4;     // Min = 10.1A + 819.2
                Bit#(20) adcMaxValue = (162 * (extendedA + extendedB) + 13107) >> 4; // Max = 10.1(A+B) + 819.2
                // クリッピング処理
                Bit#(12) clippedAdcValue = (adcValue < truncate(adcMinValue)) ? truncate(adcMinValue) :
                                          (adcValue > truncate(adcMaxValue)) ? truncate(adcMaxValue) :
                                          adcValue;
        
              Bit#(24) coordinate = ((zeroExtend(clippedAdcValue) * 225
                                   - zeroExtend(extendedA) * 2272 - 184216)
                                   / zeroExtend(extendedB) >> 4) + 44;
             return truncate(coordinate);
        endmethod
    
    endmodule
endpackage: FixedPointConverter

これは単なる組み合わせ回路なのでC/C++でも同様にできるかもしれませんが、設計計算の実例としてコードを示しました。

完成画面

システムが動作している画面を図10に示します。右パドルは人間が操作しています。

　　　　　　　　　　　　　　　図10 Pong動作画面

今後の予定や感想

最初に書いたようにPongゲームの開発は、第2ステップとして、これを用いた強化学習を実装したいと思っています。

今回過去の資産を流用しながらBSVを用いて短期間で新規ゲームを開発しました。「巨人の肩に乗る」という英語由来のフレーズがありますが、まさにBSVは巨人であり新規開発がとても楽にできます。巨人の肩の高さまで登る苦労はあるものの、一旦登ってしまえばそこからは楽な道筋となります。もうverilogでステートマシンを苦労して書く必要はありません。

verilogで苦労するテストベンチはシーケンスを組みDUTに様々なデータを供給しますが、BSVではFSM生成ライブラリにより簡単に書くことができます。

BSVを大学教育に採用すれば日本の設計力が上がるのではないかと思いますが、海外の一部の大学でしか採用されていないようであり、日本の国力を考えると大変残念です。今後の国内でのBSVの普及が期待されます。