0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Docker + Fortran + Rust + Python + MLflow でつくる共通シミュレーション実行基盤 r001 ― Debris Flowを動かす

0
Posted at

Docker + Fortran + Rust + Python + MLflow でつくる共通シミュレーション実行基盤 r001 ― Debris Flowを動かす

はじめに

前回までに、Fortran、Rust、Pythonをどのように分けるかを整理しました。

今回から実装に入ります。

最初の題材はDebris Flow(土石流)です。ただし、r001で土石流モデルそのものを完成させるわけではありません。

ここで先に作りたいのは、今後どの数値計算でも使える共通シミュレーション実行基盤です。

20261012-d01.png

数値計算ロジックが変わっても、この流れは大きく変わりません。

Debris Flowの次にFlood 2DやRiver 1Dを追加するときも、Rust API、MLflow、Queue、Docker Composeなどを作り直さずに済む構成にしておきます。


1. r001で作る範囲

r001では、次の一本を実際に通します。

20261011_d01.png

まだOpenLayersは入れません。

PostgreSQL、RustFS、分散Workerも後です。

r001では、まずこの経路を確実に通します。


2. Fortran Solverは非公開にします

Fortranのソースコードは公開側へ入れません。

今回の配布も、公開側と非公開側を分けました。

参考のために、ZIPファイルを置いておきますので、ダウンロードして活用してください。非公開のfortranのZIPも置いておきます。

公開側
simulation_platform_r001/
└── runtime/solver/
    └── debris_flow_solver

非公開側
Debris Flow Solver private repository
└── src/
    └── debris_flow_solver.f90

公開側から見れば、Fortranは単なる実行エンジンです。

/opt/solvers/debris_flow/debris_flow_solver /work/<run_id>

このコマンドで、

/work/<run_id>/input/

を読み、

/work/<run_id>/output/

へ結果を書きます。

Fortran内部でどの方程式を解いているかは、Rust側が知る必要はありません。

この境界を守ることが大切です。


3. 今回のDebris Flow Solverについて

r001に付けたFortran Solverは、接続確認用の小さなモデルです。

実災害解析に使う完成版の土石流モデルではありません。

今回は、

  • x方向の一次風上移流
  • 横方向の単純な拡散
  • 一次の堆積項

を組み合わせています。

目的は、土石流の高度な再現ではなく、

Pythonで入力を作る
 ↓
Fortranが読む
 ↓
Fortranが計算する
 ↓
Pythonが結果を読む

という契約を確認することです。

今後、実際のDebris Flow Solverへ差し替えても、この入出力契約を維持すれば、Web API側を大きく変更せずに済みます。


4. MLflowをRun管理の中心にします

1回のシミュレーションを、1つのMLflow Runとして扱います。

Rust APIがMLflowへRunを作成し、返されたrun_idをそのまま全体の識別子として使います。

MLflow run_id
   │
   ├── /work/<run_id>/
   ├── Queue
   ├── Logs
   ├── Metrics
   └── Artifacts

独自のRun IDをもう一つ作る必要はありません。

Parametersには、例えば次を記録します。

duration
grid_nx
grid_ny
grid_dx
grid_dy
density
initial_volume
dt
flow_speed_ms

Metricsには、今回のサンプルでは次を記録します。

max_depth
max_velocity
max_deposition
initial_volume
mobile_volume
deposited_volume
outflow_volume
mass_balance_error

入力、ログ、result.jsonなどはMLflow Artifactへ登録します。


5. MLflowの状態とシミュレーション状態を分けます

MLflowにはRun statusがあります。

一方、数値計算ではもう少し細かい状態が必要です。

そこで、

MLflow status

と、

sim.status

を分けます。

RUNNING / queued
RUNNING / preparing
RUNNING / running
RUNNING / postprocessing
FINISHED / completed

失敗した場合は、

FAILED / failed

です。

細かな状態はMLflow Tagとして残します。


6. r001ではQueueを小さく始めます

将来は、ローカルPC、オンプレ、クラウドのWorkerへ分散させます。

ただし、r001からRedisなどを入れると、問題の切り分けが増えます。

そこで今回は、Tokioのmpscを使ったプロセス内Queueにしました。

Rust API
   ↓
Tokio mpsc
   ↓
Worker loop

このQueue境界を作っておけば、後から、

Tokio mpsc
   ↓
Redisなどの外部Queue

へ差し替えられます。

r001では仕組みを小さくして、境界を先に固めます。


7. Python前処理

Web APIのJSONを、そのままFortranへ渡しません。

例えばAPIでは、

{
  "solver": "debris_flow",
  "scenario": {
    "duration": 600.0,
    "output_interval": 10.0
  },
  "grid": {
    "nx": 100,
    "ny": 100,
    "dx": 10.0,
    "dy": 10.0
  },
  "material": {
    "density": 1800.0,
    "initial_volume": 5000.0
  },
  "numerics": {
    "dt": 1.0,
    "flow_speed_ms": 1.0,
    "lateral_diffusivity": 1.0,
    "deposition_rate": 0.0008
  }
}

を受け取ります。

Pythonが、これを、

control.dat
initial_depth.dat
terrain.dat

へ変換します。

Web API仕様とFortran入力仕様を分けておくことで、どちらかを変更したときの影響を小さくできます。


8. Python後処理

Fortranは、

depth_final.csv
velocity_final.csv
deposition.csv
summary.dat

を出力します。

Python後処理は、配列サイズやNaN、負値などを確認したあと、result.jsonへまとめます。

r002では、この後処理層へGeoTIFFや表示用データの生成を追加する予定です。


9. Docker Compose

r001はDocker Composeで起動します。

Docker Compose
├── mlflow
└── api
    ├── Rust API
    ├── Python Adapter
    └── Fortran binary

起動は、

docker compose up --build -d

です。

APIは、

http://localhost:8000

MLflow UIは、

http://localhost:5000

で確認します。

MLflow 3.5以降はTracking Serverのセキュリティミドルウェアが入っているため、コンテナ内で0.0.0.0へListenする場合はallowed-hostsも意識する必要があります。r001はローカル検証用として設定しています。本番公開時はVPS側のReverse Proxyや認証と合わせて絞り込みます。


10. API

r001では、次のAPIだけにしました。

POST /api/v1/runs
GET  /api/v1/runs/{run_id}
GET  /api/v1/runs/{run_id}/results
GET  /api/v1/runs/{run_id}/logs
GET  /health

Run作成:

curl -X POST http://localhost:8000/api/v1/runs \
  -H 'Content-Type: application/json' \
  --data-binary @samples/debris_flow_run.json

レスポンスは、

{
  "run_id": "<MLflow run id>",
  "status": "queued"
}

です。

このrun_idでMLflowも、作業ディレクトリも、結果APIも追えるようにします。


11. 任意コマンドは受け取りません

Web APIから、

{
  "command": "..."
}

のようなものは受け付けません。

r001で指定できるSolverは、

{
  "solver": "debris_flow"
}

だけです。

実際の実行パスはサーバー側で、

/opt/solvers/debris_flow/debris_flow_solver

に固定します。

将来Solverを追加するときは、登録済みIDと実行Adapterを対応させます。


12. 実際に計算を通してみる

今回は、

100 × 100 cells
10 m grid
600 sec
dt = 1 sec
初期体積 = 5,000

で確認しました。

実行結果は、

initial_volume      5000.0000
mobile_volume       3084.0184
deposited_volume    1906.4875
outflow_volume         9.4794
mass_balance_error     2.95e-6

となりました。

最大値は、

max_depth       0.05234
max_velocity    1.00000
max_deposition  0.01418

です。

この値自体を土石流解析結果として評価する段階ではありません。

r001で見たいのは、入力した初期体積がFortran計算を通り、後処理で指標を取り出し、収支を確認できていることです。


13. テスト結果

今回の配布物では、作成環境で次を実行しました。

項目 結果
gfortranビルド PASS
Python前処理 PASS
Fortran 100×100 / 600 step PASS
Python後処理 PASS
result.json生成 PASS
pytest 2 PASS

Fortranは、

gfortran \
  -O2 \
  -std=f2008 \
  -Wall -Wextra -Wconversion-extra \
  -fcheck=all

で確認しています。

一方、今回の記事作成環境にはRust toolchainとDocker Engineが入っていません。

そのため、

cargo check
cargo test
docker compose build
Docker上のMLflow結合試験

は未実行です。

ここはPASSとはしません。

手元のWSL2 Ubuntu 24.04環境で、配布ZIPそのものを使って次に確認します。


14. r001のディレクトリ

simulation_platform_r001/
├── api/
│   ├── Cargo.toml
│   └── src/
│       ├── config.rs
│       ├── main.rs
│       ├── mlflow.rs
│       ├── model.rs
│       └── runner.rs
├── python/
│   ├── preprocess.py
│   ├── postprocess.py
│   ├── log_artifacts.py
│   └── requirements.txt
├── runtime/
│   └── solver/
│       └── debris_flow_solver
├── samples/
│   └── debris_flow_run.json
├── scripts/
│   └── run_sample.sh
├── tests/
│   └── test_preprocess_postprocess.py
├── Dockerfile
├── compose.yaml
└── README.md

Fortranソースは別管理です。

この分離は今後も維持します。


15. r001で見えた形

今回の実装で、一番確認したかったのは次です。

数値計算ロジック
       と
Webシステム
       と
Run管理

を分けても、一本のRunとして追えることです。

Debris Flow Solverを別のSolverへ変えても、

Rust API
MLflow Run
Queue
Docker Compose

は基本的にそのまま使えます。

この共通部分を先に作っておけば、数値計算モデルを増やすたびにWebシステムを作り直さずに済みます。

r001は小さいですが、この考え方を実装で確認する最初の版です。


16. 次はr002へ

r002では結果をWebで見ます。

Fortran Result
      ↓
Python Postprocess
      ↓
表示用データ
      ↓
OpenLayers

まず、最大流動深、堆積範囲などを地図上へ表示できるようにします。

Runを選択すると、そのRunの結果が地図に出るところまで進める予定です。


参考


0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?