Docker + Fortran + Rust + Python + MLflow でつくる共通シミュレーション実行基盤 r001 ― Debris Flowを動かす
はじめに
前回までに、Fortran、Rust、Pythonをどのように分けるかを整理しました。
今回から実装に入ります。
最初の題材はDebris Flow(土石流)です。ただし、r001で土石流モデルそのものを完成させるわけではありません。
ここで先に作りたいのは、今後どの数値計算でも使える共通シミュレーション実行基盤です。
数値計算ロジックが変わっても、この流れは大きく変わりません。
Debris Flowの次にFlood 2DやRiver 1Dを追加するときも、Rust API、MLflow、Queue、Docker Composeなどを作り直さずに済む構成にしておきます。
1. r001で作る範囲
r001では、次の一本を実際に通します。
まだOpenLayersは入れません。
PostgreSQL、RustFS、分散Workerも後です。
r001では、まずこの経路を確実に通します。
2. Fortran Solverは非公開にします
Fortranのソースコードは公開側へ入れません。
今回の配布も、公開側と非公開側を分けました。
参考のために、ZIPファイルを置いておきますので、ダウンロードして活用してください。非公開のfortranのZIPも置いておきます。
公開側
simulation_platform_r001/
└── runtime/solver/
└── debris_flow_solver
非公開側
Debris Flow Solver private repository
└── src/
└── debris_flow_solver.f90
公開側から見れば、Fortranは単なる実行エンジンです。
/opt/solvers/debris_flow/debris_flow_solver /work/<run_id>
このコマンドで、
/work/<run_id>/input/
を読み、
/work/<run_id>/output/
へ結果を書きます。
Fortran内部でどの方程式を解いているかは、Rust側が知る必要はありません。
この境界を守ることが大切です。
3. 今回のDebris Flow Solverについて
r001に付けたFortran Solverは、接続確認用の小さなモデルです。
実災害解析に使う完成版の土石流モデルではありません。
今回は、
- x方向の一次風上移流
- 横方向の単純な拡散
- 一次の堆積項
を組み合わせています。
目的は、土石流の高度な再現ではなく、
Pythonで入力を作る
↓
Fortranが読む
↓
Fortranが計算する
↓
Pythonが結果を読む
という契約を確認することです。
今後、実際のDebris Flow Solverへ差し替えても、この入出力契約を維持すれば、Web API側を大きく変更せずに済みます。
4. MLflowをRun管理の中心にします
1回のシミュレーションを、1つのMLflow Runとして扱います。
Rust APIがMLflowへRunを作成し、返されたrun_idをそのまま全体の識別子として使います。
MLflow run_id
│
├── /work/<run_id>/
├── Queue
├── Logs
├── Metrics
└── Artifacts
独自のRun IDをもう一つ作る必要はありません。
Parametersには、例えば次を記録します。
duration
grid_nx
grid_ny
grid_dx
grid_dy
density
initial_volume
dt
flow_speed_ms
Metricsには、今回のサンプルでは次を記録します。
max_depth
max_velocity
max_deposition
initial_volume
mobile_volume
deposited_volume
outflow_volume
mass_balance_error
入力、ログ、result.jsonなどはMLflow Artifactへ登録します。
5. MLflowの状態とシミュレーション状態を分けます
MLflowにはRun statusがあります。
一方、数値計算ではもう少し細かい状態が必要です。
そこで、
MLflow status
と、
sim.status
を分けます。
RUNNING / queued
RUNNING / preparing
RUNNING / running
RUNNING / postprocessing
FINISHED / completed
失敗した場合は、
FAILED / failed
です。
細かな状態はMLflow Tagとして残します。
6. r001ではQueueを小さく始めます
将来は、ローカルPC、オンプレ、クラウドのWorkerへ分散させます。
ただし、r001からRedisなどを入れると、問題の切り分けが増えます。
そこで今回は、Tokioのmpscを使ったプロセス内Queueにしました。
Rust API
↓
Tokio mpsc
↓
Worker loop
このQueue境界を作っておけば、後から、
Tokio mpsc
↓
Redisなどの外部Queue
へ差し替えられます。
r001では仕組みを小さくして、境界を先に固めます。
7. Python前処理
Web APIのJSONを、そのままFortranへ渡しません。
例えばAPIでは、
{
"solver": "debris_flow",
"scenario": {
"duration": 600.0,
"output_interval": 10.0
},
"grid": {
"nx": 100,
"ny": 100,
"dx": 10.0,
"dy": 10.0
},
"material": {
"density": 1800.0,
"initial_volume": 5000.0
},
"numerics": {
"dt": 1.0,
"flow_speed_ms": 1.0,
"lateral_diffusivity": 1.0,
"deposition_rate": 0.0008
}
}
を受け取ります。
Pythonが、これを、
control.dat
initial_depth.dat
terrain.dat
へ変換します。
Web API仕様とFortran入力仕様を分けておくことで、どちらかを変更したときの影響を小さくできます。
8. Python後処理
Fortranは、
depth_final.csv
velocity_final.csv
deposition.csv
summary.dat
を出力します。
Python後処理は、配列サイズやNaN、負値などを確認したあと、result.jsonへまとめます。
r002では、この後処理層へGeoTIFFや表示用データの生成を追加する予定です。
9. Docker Compose
r001はDocker Composeで起動します。
Docker Compose
├── mlflow
└── api
├── Rust API
├── Python Adapter
└── Fortran binary
起動は、
docker compose up --build -d
です。
APIは、
http://localhost:8000
MLflow UIは、
http://localhost:5000
で確認します。
MLflow 3.5以降はTracking Serverのセキュリティミドルウェアが入っているため、コンテナ内で0.0.0.0へListenする場合はallowed-hostsも意識する必要があります。r001はローカル検証用として設定しています。本番公開時はVPS側のReverse Proxyや認証と合わせて絞り込みます。
10. API
r001では、次のAPIだけにしました。
POST /api/v1/runs
GET /api/v1/runs/{run_id}
GET /api/v1/runs/{run_id}/results
GET /api/v1/runs/{run_id}/logs
GET /health
Run作成:
curl -X POST http://localhost:8000/api/v1/runs \
-H 'Content-Type: application/json' \
--data-binary @samples/debris_flow_run.json
レスポンスは、
{
"run_id": "<MLflow run id>",
"status": "queued"
}
です。
このrun_idでMLflowも、作業ディレクトリも、結果APIも追えるようにします。
11. 任意コマンドは受け取りません
Web APIから、
{
"command": "..."
}
のようなものは受け付けません。
r001で指定できるSolverは、
{
"solver": "debris_flow"
}
だけです。
実際の実行パスはサーバー側で、
/opt/solvers/debris_flow/debris_flow_solver
に固定します。
将来Solverを追加するときは、登録済みIDと実行Adapterを対応させます。
12. 実際に計算を通してみる
今回は、
100 × 100 cells
10 m grid
600 sec
dt = 1 sec
初期体積 = 5,000
で確認しました。
実行結果は、
initial_volume 5000.0000
mobile_volume 3084.0184
deposited_volume 1906.4875
outflow_volume 9.4794
mass_balance_error 2.95e-6
となりました。
最大値は、
max_depth 0.05234
max_velocity 1.00000
max_deposition 0.01418
です。
この値自体を土石流解析結果として評価する段階ではありません。
r001で見たいのは、入力した初期体積がFortran計算を通り、後処理で指標を取り出し、収支を確認できていることです。
13. テスト結果
今回の配布物では、作成環境で次を実行しました。
| 項目 | 結果 |
|---|---|
| gfortranビルド | PASS |
| Python前処理 | PASS |
| Fortran 100×100 / 600 step | PASS |
| Python後処理 | PASS |
| result.json生成 | PASS |
| pytest | 2 PASS |
Fortranは、
gfortran \
-O2 \
-std=f2008 \
-Wall -Wextra -Wconversion-extra \
-fcheck=all
で確認しています。
一方、今回の記事作成環境にはRust toolchainとDocker Engineが入っていません。
そのため、
cargo check
cargo test
docker compose build
Docker上のMLflow結合試験
は未実行です。
ここはPASSとはしません。
手元のWSL2 Ubuntu 24.04環境で、配布ZIPそのものを使って次に確認します。
14. r001のディレクトリ
simulation_platform_r001/
├── api/
│ ├── Cargo.toml
│ └── src/
│ ├── config.rs
│ ├── main.rs
│ ├── mlflow.rs
│ ├── model.rs
│ └── runner.rs
├── python/
│ ├── preprocess.py
│ ├── postprocess.py
│ ├── log_artifacts.py
│ └── requirements.txt
├── runtime/
│ └── solver/
│ └── debris_flow_solver
├── samples/
│ └── debris_flow_run.json
├── scripts/
│ └── run_sample.sh
├── tests/
│ └── test_preprocess_postprocess.py
├── Dockerfile
├── compose.yaml
└── README.md
Fortranソースは別管理です。
この分離は今後も維持します。
15. r001で見えた形
今回の実装で、一番確認したかったのは次です。
数値計算ロジック
と
Webシステム
と
Run管理
を分けても、一本のRunとして追えることです。
Debris Flow Solverを別のSolverへ変えても、
Rust API
MLflow Run
Queue
Docker Compose
は基本的にそのまま使えます。
この共通部分を先に作っておけば、数値計算モデルを増やすたびにWebシステムを作り直さずに済みます。
r001は小さいですが、この考え方を実装で確認する最初の版です。
16. 次はr002へ
r002では結果をWebで見ます。
Fortran Result
↓
Python Postprocess
↓
表示用データ
↓
OpenLayers
まず、最大流動深、堆積範囲などを地図上へ表示できるようにします。
Runを選択すると、そのRunの結果が地図に出るところまで進める予定です。
参考
- MLflow Tracking: https://mlflow.org/docs/latest/ml/tracking/
- MLflow Tracking Server: https://mlflow.org/docs/latest/self-hosting/architecture/tracking-server/
- MLflow REST API: https://mlflow.org/docs/latest/api_reference/rest-api.html
- Axum: https://docs.rs/axum/latest/axum/
- Tokio: https://docs.rs/tokio/latest/tokio/
- Docker Compose: https://docs.docker.com/compose/

