【波形統計量 編】自分がほしかった生産現場データ活用のコードとコンセプトつくってみた [生産現場] [リアルタイムデータ処理] [Python]
切り出した1サイクル分の波形を、エッジで「1行の統計量」に変えてから上位へ送る。平均・ばらつき・区間ごとの値を設定ファイルだけで選べる Tri-On-Edge の仕組みを実コードで紹介する。
生産現場 工場IoT 製造DX リアルタイムデータ処理 Python
関連記事:
何からでも収集 何へでも連携 編
波形切り出し編
やりたいこと
- 波形切り出し編で取り出した1サイクル分の波形を、そのまま送らずに「特徴」にして送りたい
- 平均・最大・ばらつきなど、見たい値を設定ファイルで選びたい
- 立上り・定常など、波形の一部の区間だけで値を出したい
- 出した値を、そのまま異常検知や機械学習の入力に使いたい
困りごと
- 1サイクルが数百〜数千行あると、全部送ると通信もストレージも重い
- 上位側で毎回集計すると、集計の処理と遅れが積み上がる
- 欠損や変換できない値が混ざると、平均や最大がこっそり歪む
- 見たい統計量が設備ごとに違い、そのたびにコードを書き換えている
やったこと
- 1セグメント(n行)を受け取るたびに、統計量を1行にまとめる共通モジュールを作った
- 統計量の種類・対象の列・対象の区間を、設定ファイルの1行ずつで指定できるようにした
- 設定の誤りは起動時に止め、稼働中に出せなかった値は理由を残すようにした
- CSV・SQLite・Socket・MQTT・PostgreSQL など、統計量を出す Act から同じモジュールを呼ぶようにした
この記事の会話パートの登場人物
- 工場さん:現場一筋のベテラン
- ギャルさん:データ活用担当、ノリは軽いが核心を突く
- ビビり新人くん:配属されたばかり、素朴な疑問担当
1. コンセプトの要点:n行を1行にする
波形切り出し編で、ストリームから1サイクル分の波形(Segment)を取り出した。この記事は、その Segment を受け取った後の話。
ビビり新人くん: 「切り出した波形って、そのまま全部送っちゃダメなんですか……?」
工場さん: 「1ショット1000行が1日何万ショットも来てみろ。上の人は『で、今日のショットは良かったのか?』しか聞いてこねぇぞ」
ギャルさん: 「それな。『最大何N? ばらつきどんくらい?』が1行で見えればいいっしょ」
統計量の算出は、エッジ(現場側)で波形を集約してから送る、という考え方。
【従来】
生データ(n行) → 転送(n行) → 後処理
【Tri-On-Edge 統計量算出】
生データ(n行) → 統計量算出(n行→1行) → 1行転送(1行) → 後処理
-
通信コスト削減:行数を圧縮し、通信量を下げる。工場ネットワークやモバイル回線など、帯域の細い環境にも向く
-
リアルタイム性:判定やアラートをエッジで完結でき、クラウドとの往復を待たない
- データ品質:欠損の件数やばらつきの境界を一緒に出すので、後段の AI・機械学習でそのまま特徴量に使える
2. 処理の流れ:Act の中で統計量にする
統計量の算出は Act(後処理)の一部。Core が切り出した Segment を Act に渡し、Act の中で1行にしてから送る・保存する。
出力には、統計量に加えて次の固定ヘッダが必ず付く。
| キー | 内容 |
|---|---|
seg_id |
セグメントID(開始レコードの時刻ベース。必ず前のセグメントより大きい) |
seg_ts_start |
波形の開始時刻 |
seg_ts_end |
波形の最後のデータ行の時刻 |
seg_rows |
波形の行数 |
統計量を出す Act は CUT_LAST_ROW = True を宣言しているので、終了条件が成立した終点行は Core が除いてから渡す(何からでも、何へでも編の「関数に性質を持たせる」を参照)。そのため seg_ts_end は終点行ではなく、最後のデータ行の時刻になる。
3. 出せる統計量
設定ファイルに名前を書くだけで選べる。
基本統計(数値列)
| 名前 | 内容 | 補足 |
|---|---|---|
mean |
平均値 | 数値に変換できた値だけで計算 |
med |
中央値 | 偶数個なら中央2値の平均 |
min / max
|
最小値 / 最大値 | |
range |
範囲(max − min) | |
std |
標準偏差 | 母標準偏差(n で割る) |
count / n_null
|
有効値の件数 / Null の件数 | count + n_null = seg_rows |
sum |
合計 |
分布・外れ値(数値列)
| 名前 | 内容 | パラメータ |
|---|---|---|
iqr |
四分位範囲(P75 − P25) | なし |
pertl |
パーセンタイル(線形補間) |
p:1, 5, 10, 25, 75, 90, 95, 99 |
sig_u / sig_l
|
mean ± n×std |
n:倍率 |
任意の行・カテゴリ(数値列・文字列列)
| 名前 | 内容 |
|---|---|
first / last
|
先頭行 / 最終行の値(変換せずそのまま) |
nth |
n番目の行の値(負数は末尾から) |
mode |
最頻値 |
seg_len |
セグメントの行数 |
const |
設定に書いた固定値(ライン名などのラベル付けに使う) |
ギャルさん: 「
sig_uって、管理図の上限ってこと?」工場さん: 「違う。それは1ショットの中のばらつきだ。管理限界はショット同士のばらつきから出すもんだ」
sig_u / sig_l は1つの Segment の中のばらつき。SPC の管理限界(セグメント間のばらつきから求める上限・下限)とは別物なので、管理図に使うときは複数セグメントの統計量から改めて計算する。
4. 区間を絞って計算する(スライス)
統計量は波形全体だけでなく、一部の区間に絞って計算できる。区間は波形の長さに対する割合(0.0〜1.0)で書く。
[0.0, 0.3] → 波形の前半30%(立上り区間など)
[0.5, 1.0] → 波形の後半50%(定常区間など)
[0.2, 0.8] → 波形の中間60%(過渡区間を除く)
割合で書くので、サイクルごとに行数が多少違っても、同じ「前半30%」を比べられる。
ビビり新人くん: 「立上りだけ荒れてるときに、全体の平均だと気づけないってことですか……?」
工場さん: 「そういうことだ。立上りと定常は分けて見ろ」
5. 設定例
列の並びが 0:Timestamp, 1:LOT, 2:Sin, 3:Cos, 4:Tan, 5:CL の場合(公開リポジトリのデモ CSV と同じ)。column_register_map に「何をどう計算するか」、out_coldef に「どんな名前・型で出すか」を、同じ番号で対応させて書く。
基本統計量(設定ガイド パターンA)
"column_register_map": {
"0": [-1, "seg_len"],
"1": [2, "mean"],
"2": [2, "med"],
"3": [2, "min"],
"4": [2, "max"],
"5": [2, "range"],
"6": [2, "std"],
"7": [2, "count"],
"8": [2, "n_null"]
},
[2, "mean"] は「2列目(Sin)の平均」。seg_len のように列を使わないものは列番号に -1 を書く。列番号は Find の設定と同じ番号で、Act に渡るときに先頭に付く固定の4列を数える必要はない。
区間別比較(設定ガイド パターンC)
"column_register_map": {
"0": [2, "mean", [0.0, 0.3]],
"1": [2, "std", [0.0, 0.3]],
"2": [2, "mean", [0.5, 1.0]],
"3": [2, "std", [0.5, 1.0]],
"4": [2, "nth", [0.5, 1.0], 1]
},
[2, "mean", [0.0, 0.3]] は「Sin の前半30%の平均」。[2, "nth", [0.5, 1.0], 1] は「後半50%に入って最初の行の値」。
6. 実際のコード
ここからは公開リポジトリの実コードの抜粋。
6-1. 統計量は名前と関数の対応表で持つ
基本統計は小さな関数にして、名前から引く(tri_s10_stream_wave_stat.py)。
"""統計量 関数マップ(数値列・パラメータなし)"""
stat_funcs: Dict[str, Any] = {
"mean" : _stat_mean,
"min" : _stat_min,
"max" : _stat_max,
"std" : _stat_std,
"count" : _stat_count,
"range" : _stat_range,
"med" : _stat_med,
"iqr" : _stat_iqr,
"sum" : _stat_sum,
}
関数の中身は数行。たとえば標準偏差は母標準偏差(該当箇所)。
def _stat_std(vals: List[float]) -> float:
"""標準偏差(母標準偏差)"""
_m = sum(vals) / len(vals)
return round((sum((v - _m) ** 2 for v in vals) / len(vals)) ** 0.5, 4)
波形切り出し編の判定関数(cond_funcs)と同じ形。統計量を足したいときは、関数を1つ書いて対応表に1行足す。
6-2. 数値に変換できた値だけを使う
数値の統計量は、変換できない値と NaN を除いてから計算する(該当箇所)。
def extract_float_vals(seg: list, col_idx: int) -> List[float]:
"""指定列から float 変換可能な値のみ抽出して返す"""
vals: List[float] = []
for row in seg:
try:
v = float(row[col_idx])
if v == v: # NaN 除外
vals.append(v)
except (TypeError, ValueError):
pass
return vals
除いた分は n_null に数えられるので、「平均が何件から出た値か」を後から確かめられる。
6-3. スライスは行の範囲に変換する
割合で書いた区間を、その Segment の行数に掛けて行の範囲にする(該当箇所)。
def get_eff_seg(seg: list, n_rows: int, slice_spec: Optional[Tuple]) -> list:
"""start_frac end_fracで指定された対象区間を返す"""
if slice_spec is None:
return seg
s, e = slice_spec
row_s = int(n_rows * s)
row_e = n_rows if e >= 1.0 else int(n_rows * e)
return seg[row_s:row_e]
6-4. 起動時に組み立てて、Segment ごとには呼ぶだけ
設定の検証と計算関数の組み立ては、Act の起動時に1回だけ行う(該当箇所)。
def init_stats(config: Dict[str, Any], col_def: Dict[int, Any], module_name: str, trigger_name: str) -> StatsContext:
"""
Act Trigger の起動時に1回呼ぶ。column_register_map / out_coldef の必須チェックとコンパイルを行う
(不正な設定は ValueError。呼び出し側の startup / config として扱われる)
Mod: 2026.10.05 By: IWATA, Y.'s Agent AI(各 Act に重複していた初期化を集約。B-9)
"""
column_register_map = config.get("column_register_map")
if not column_register_map:
raise ValueError(f"column_register_map is required for {trigger_name}")
out_coldef = config.get("out_coldef")
if not out_coldef:
raise ValueError(f"out_coldef is required for {trigger_name}")
col_keys = [col_def[k][0] for k in sorted(col_def.keys())]
compiled_map = compile_register_map(column_register_map, out_coldef, col_keys)
ctx = StatsContext(compiled_map, out_coldef, module_name, trigger_name)
base.output_log(module_name,
f"{trigger_name} stats initialized. entries={len(compiled_map)} out_keys={ctx.out_keys}", log_file)
return ctx
Segment ごとの処理は、組み立て済みの関数を順に呼ぶだけ。固定ヘッダを先に作り、値を出せなかった項目は {出力キー}_WARN に理由を残す(該当箇所)。
def build_stats(
seg: list,
compiled: List[Tuple[str, Any]],
) -> Dict[str, Any]:
"""
コンパイル済みエントリリストに基づきサマリー dict を構築
固定ヘッダ(seg_id, seg_ts_start, seg_ts_end, seg_rows)は常に付与。
warn 発生時は {out_key}_WARN キーに理由を記録。
value が None(out of range等)の場合はそのキーを出力しない。
"""
n_rows = len(seg)
result: Dict[str, Any] = {
"seg_id" : seg[0][0],
"seg_ts_start": seg[0][2],
"seg_ts_end" : seg[-1][2],
"seg_rows" : n_rows,
}
judges: List[Tuple[str, Any]] = []
for out_key, func in compiled:
if isinstance(func, _JudgeFunc):
judges.append((out_key, func))
continue
value, warn = func(seg, n_rows)
if warn:
result[f"{out_key}_WARN"] = warn
elif value is not None:
result[out_key] = value
6-5. Act からは2つ呼ぶだけ
統計量を出す Act は、起動時に init_stats、Segment ごとに calc_stats を呼ぶ。Socket で送る Act の場合(tri_s12_act_socket.py、送信部分)。
# 出力データ項目定義(a_send_stats_trigger のみ)
if mode == "stat":
stats_ctx = init_stats(config, col_def, MODULE_NAME, TRIGGER_NAME)
else:
stats_dict = calc_stats(stats_ctx, segment, seg_id)
messages = [json.dumps(stats_dict, ensure_ascii=False, default=str) + sep]
CSV(a_save_stats_trigger)、SQLite(a_store_stats_trigger)、MQTT(a_mqtt_pub_stats_trigger)、PostgreSQL(a_calc_stats_to_pg_trigger)も同じ形で呼んでいる。送り先が変わっても、統計量の設定は同じものを使い回せる。
7. 現場で運用・改善していくうえでのポイント
設定の誤りは起動時に止まる
-
column_register_mapとout_coldefの番号が一致しない、列番号が範囲外、知らない統計量の名前、パラメータの誤りは、起動時に止まる
- 稼働してから「あの列、出てなかった」と気づく事態を避けるため
稼働中に出せなかった値は、理由が残る
| 状況 | 出力 |
|---|---|
| 有効な値が1つもない(全行 Null など) | {出力キー}_WARN: "no_valid_values" |
| スライスした結果が空 | {出力キー}_WARN: "slice_empty" |
nth が範囲外 |
{出力キー}_WARN: "nth=N out of range" |
欠損の既定値に注意
- Find は、値がない・変換できないときに既定値(省略時は
-9999/-9999.9)を入れて送る
- この既定値は数値に変換できるので、有効な値として集計されてしまう(平均や最小が歪み、
n_nullにも数えられない)
- 統計量を出すときは、Find の
int_default/float_defaultをnullにする。欠損が None のまま届き、集計から除かれてn_nullに数えられる
ギャルさん: 「
-9999が平均に混ざってたら、そりゃ異常って出るわ」工場さん: 「異常なのはデータじゃなくて設定だったってやつだな」
まずは基本統計から
- 最初はパターンA(基本統計量)で動かし、実際の波形を見ながら区間や分布の統計量を足していく。完璧を最初から狙わないのが Trial の鉄則
| 用途 | 組み合わせ |
|---|---|
| まず動かす | 基本統計量 |
| 異常検知・管理図 | 分布(パーセンタイル・IQR・σ境界)+基本統計量 |
| 工程の挙動を知る | 区間別比較(立上り・定常) |
| トレーサビリティ | カテゴリ列(LOT の先頭・最終・最頻値) |
| MT法・機械学習 | 上を組み合わせ、out_coldef で explanatory にした列を特徴量に |
参考:Tri-On-Edge プロジェクトについて
本記事で紹介したコンセプトや設計思想の詳細は、オープンコンセプト Tri-On-Edge として公開中(ドキュメント:CC BY 4.0 コード:MIT)
GitHub: https://github.com/yoshiiwt-hub/tri-on-edge-concept