Cloud Run で LLM を動かそうとしているのですが、 llama.cpp で GCS 上の weights ファイルに gcsfuse を介してアクセスしようとすると次のエラーが出てデプロイに失敗しました。
参考までに、ファイルサイズは 4GB 程度でした。
terminate called after throwing an instance of 'std::runtime_error'
what(): failed to open /mnt/gcs/xxxx.bin: Value too large for defined data type
これはどうやら Cloud Run の実行環境として第 1 世代が選択されている場合に起こるようです。
条件は把握してないですが、デフォルトにしておくとうっかり第 1 世代で起動するので、明示的に第 2 世代にしておきましょう。