0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【波形統計量 編】自分がほしかった生産現場データ活用のコードとコンセプトつくってみた [生産現場] [リアルタイムデータ処理] [Python]

0
Last updated at Posted at 2026-11-22

【波形統計量 編】自分がほしかった生産現場データ活用のコードとコンセプトつくってみた [生産現場] [リアルタイムデータ処理] [Python]

切り出した1サイクル分の波形を、エッジで「1行の統計量」に変えてから上位へ送る。平均・ばらつき・区間ごとの値を設定ファイルだけで選べる Tri-On-Edge の仕組みを実コードで紹介する。

生産現場 工場IoT 製造DX リアルタイムデータ処理 Python

関連記事:
 何からでも収集 何へでも連携 編
 波形切り出し編

やりたいこと

  • 波形切り出し編で取り出した1サイクル分の波形を、そのまま送らずに「特徴」にして送りたい
     
  • 平均・最大・ばらつきなど、見たい値を設定ファイルで選びたい
     
  • 立上り・定常など、波形の一部の区間だけで値を出したい
     
  • 出した値を、そのまま異常検知や機械学習の入力に使いたい

困りごと

  • 1サイクルが数百〜数千行あると、全部送ると通信もストレージも重い
     
  • 上位側で毎回集計すると、集計の処理と遅れが積み上がる
     
  • 欠損や変換できない値が混ざると、平均や最大がこっそり歪む
     
  • 見たい統計量が設備ごとに違い、そのたびにコードを書き換えている

やったこと

  • 1セグメント(n行)を受け取るたびに、統計量を1行にまとめる共通モジュールを作った
     
  • 統計量の種類・対象の列・対象の区間を、設定ファイルの1行ずつで指定できるようにした
     
  • 設定の誤りは起動時に止め、稼働中に出せなかった値は理由を残すようにした
     
  • CSV・SQLite・Socket・MQTT・PostgreSQL など、統計量を出す Act から同じモジュールを呼ぶようにした

この記事の会話パートの登場人物

  • 工場さん:現場一筋のベテラン
     
  • ギャルさん:データ活用担当、ノリは軽いが核心を突く
     
  • ビビり新人くん:配属されたばかり、素朴な疑問担当

1. コンセプトの要点:n行を1行にする

波形切り出し編で、ストリームから1サイクル分の波形(Segment)を取り出した。この記事は、その Segment を受け取った後の話。

ビビり新人くん: 「切り出した波形って、そのまま全部送っちゃダメなんですか……?」

工場さん: 「1ショット1000行が1日何万ショットも来てみろ。上の人は『で、今日のショットは良かったのか?』しか聞いてこねぇぞ」

ギャルさん: 「それな。『最大何N? ばらつきどんくらい?』が1行で見えればいいっしょ」

統計量の算出は、エッジ(現場側)で波形を集約してから送る、という考え方。

【従来】
 生データ(n行)              → 転送(n行) → 後処理

【Tri-On-Edge 統計量算出】
 生データ(n行) → 統計量算出(n行→1行) → 1行転送(1行) → 後処理
  • 通信コスト削減:行数を圧縮し、通信量を下げる。工場ネットワークやモバイル回線など、帯域の細い環境にも向く
     
  • リアルタイム性:判定やアラートをエッジで完結でき、クラウドとの往復を待たない
     
  • データ品質:欠損の件数やばらつきの境界を一緒に出すので、後段の AI・機械学習でそのまま特徴量に使える

2. 処理の流れ:Act の中で統計量にする

統計量の算出は Act(後処理)の一部。Core が切り出した Segment を Act に渡し、Act の中で1行にしてから送る・保存する。

出力には、統計量に加えて次の固定ヘッダが必ず付く。

キー 内容
seg_id セグメントID(開始レコードの時刻ベース。必ず前のセグメントより大きい)
seg_ts_start 波形の開始時刻
seg_ts_end 波形の最後のデータ行の時刻
seg_rows 波形の行数

統計量を出す Act は CUT_LAST_ROW = True を宣言しているので、終了条件が成立した終点行は Core が除いてから渡す(何からでも、何へでも編の「関数に性質を持たせる」を参照)。そのため seg_ts_end は終点行ではなく、最後のデータ行の時刻になる。

3. 出せる統計量

設定ファイルに名前を書くだけで選べる。

基本統計(数値列)

名前 内容 補足
mean 平均値 数値に変換できた値だけで計算
med 中央値 偶数個なら中央2値の平均
min / max 最小値 / 最大値
range 範囲(max − min)
std 標準偏差 母標準偏差(n で割る)
count / n_null 有効値の件数 / Null の件数 count + n_null = seg_rows
sum 合計

分布・外れ値(数値列)

名前 内容 パラメータ
iqr 四分位範囲(P75 − P25) なし
pertl パーセンタイル(線形補間) p:1, 5, 10, 25, 75, 90, 95, 99
sig_u / sig_l mean ± n×std n:倍率

任意の行・カテゴリ(数値列・文字列列)

名前 内容
first / last 先頭行 / 最終行の値(変換せずそのまま)
nth n番目の行の値(負数は末尾から)
mode 最頻値
seg_len セグメントの行数
const 設定に書いた固定値(ライン名などのラベル付けに使う)

ギャルさん: 「sig_u って、管理図の上限ってこと?」

工場さん: 「違う。それは1ショットの中のばらつきだ。管理限界はショット同士のばらつきから出すもんだ」

sig_u / sig_l は1つの Segment の中のばらつき。SPC の管理限界(セグメント間のばらつきから求める上限・下限)とは別物なので、管理図に使うときは複数セグメントの統計量から改めて計算する。

4. 区間を絞って計算する(スライス)

統計量は波形全体だけでなく、一部の区間に絞って計算できる。区間は波形の長さに対する割合(0.0〜1.0)で書く。

[0.0, 0.3]  → 波形の前半30%(立上り区間など)
[0.5, 1.0]  → 波形の後半50%(定常区間など)
[0.2, 0.8]  → 波形の中間60%(過渡区間を除く)

割合で書くので、サイクルごとに行数が多少違っても、同じ「前半30%」を比べられる。

ビビり新人くん: 「立上りだけ荒れてるときに、全体の平均だと気づけないってことですか……?」

工場さん: 「そういうことだ。立上りと定常は分けて見ろ」

5. 設定例

列の並びが 0:Timestamp, 1:LOT, 2:Sin, 3:Cos, 4:Tan, 5:CL の場合(公開リポジトリのデモ CSV と同じ)。column_register_map に「何をどう計算するか」、out_coldef に「どんな名前・型で出すか」を、同じ番号で対応させて書く。

基本統計量(設定ガイド パターンA)

"column_register_map": {
    "0":  [-1, "seg_len"],
    "1":  [2,  "mean"],
    "2":  [2,  "med"],
    "3":  [2,  "min"],
    "4":  [2,  "max"],
    "5":  [2,  "range"],
    "6":  [2,  "std"],
    "7":  [2,  "count"],
    "8":  [2,  "n_null"]
},

[2, "mean"] は「2列目(Sin)の平均」。seg_len のように列を使わないものは列番号に -1 を書く。列番号は Find の設定と同じ番号で、Act に渡るときに先頭に付く固定の4列を数える必要はない。

区間別比較(設定ガイド パターンC)

"column_register_map": {
    "0":  [2,  "mean", [0.0, 0.3]],
    "1":  [2,  "std",  [0.0, 0.3]],
    "2":  [2,  "mean", [0.5, 1.0]],
    "3":  [2,  "std",  [0.5, 1.0]],
    "4":  [2,  "nth",  [0.5, 1.0], 1]
},

[2, "mean", [0.0, 0.3]] は「Sin の前半30%の平均」。[2, "nth", [0.5, 1.0], 1] は「後半50%に入って最初の行の値」。

6. 実際のコード

ここからは公開リポジトリの実コードの抜粋。

6-1. 統計量は名前と関数の対応表で持つ

基本統計は小さな関数にして、名前から引く(tri_s10_stream_wave_stat.py)。

"""統計量 関数マップ(数値列・パラメータなし)"""
stat_funcs: Dict[str, Any] = {
    "mean"  : _stat_mean,
    "min"   : _stat_min,
    "max"   : _stat_max,
    "std"   : _stat_std,
    "count" : _stat_count,
    "range" : _stat_range,
    "med"   : _stat_med,
    "iqr"   : _stat_iqr,
    "sum"   : _stat_sum,
}

関数の中身は数行。たとえば標準偏差は母標準偏差(該当箇所)。

def _stat_std(vals: List[float]) -> float:
    """標準偏差(母標準偏差)"""
    _m = sum(vals) / len(vals)
    return round((sum((v - _m) ** 2 for v in vals) / len(vals)) ** 0.5, 4)

波形切り出し編の判定関数(cond_funcs)と同じ形。統計量を足したいときは、関数を1つ書いて対応表に1行足す。

6-2. 数値に変換できた値だけを使う

数値の統計量は、変換できない値と NaN を除いてから計算する(該当箇所)。

def extract_float_vals(seg: list, col_idx: int) -> List[float]:
    """指定列から float 変換可能な値のみ抽出して返す"""
    vals: List[float] = []
    for row in seg:
        try:
            v = float(row[col_idx])
            if v == v:   # NaN 除外
                vals.append(v)
        except (TypeError, ValueError):
            pass
    return vals

除いた分は n_null に数えられるので、「平均が何件から出た値か」を後から確かめられる。

6-3. スライスは行の範囲に変換する

割合で書いた区間を、その Segment の行数に掛けて行の範囲にする(該当箇所)。

def get_eff_seg(seg: list, n_rows: int, slice_spec: Optional[Tuple]) -> list:
    """start_frac end_fracで指定された対象区間を返す"""
    if slice_spec is None:
        return seg
    s, e  = slice_spec
    row_s = int(n_rows * s)
    row_e = n_rows if e >= 1.0 else int(n_rows * e)
    return seg[row_s:row_e]

6-4. 起動時に組み立てて、Segment ごとには呼ぶだけ

設定の検証と計算関数の組み立ては、Act の起動時に1回だけ行う(該当箇所)。

def init_stats(config: Dict[str, Any], col_def: Dict[int, Any], module_name: str, trigger_name: str) -> StatsContext:
    """
    Act Trigger の起動時に1回呼ぶ。column_register_map / out_coldef の必須チェックとコンパイルを行う
    (不正な設定は ValueError。呼び出し側の startup / config として扱われる)
    Mod: 2026.10.05    By: IWATA, Y.'s Agent AI(各 Act に重複していた初期化を集約。B-9)
    """
    column_register_map = config.get("column_register_map")
    if not column_register_map:
        raise ValueError(f"column_register_map is required for {trigger_name}")
    out_coldef = config.get("out_coldef")
    if not out_coldef:
        raise ValueError(f"out_coldef is required for {trigger_name}")

    col_keys = [col_def[k][0] for k in sorted(col_def.keys())]
    compiled_map = compile_register_map(column_register_map, out_coldef, col_keys)
    ctx = StatsContext(compiled_map, out_coldef, module_name, trigger_name)
    base.output_log(module_name,
        f"{trigger_name} stats initialized. entries={len(compiled_map)}  out_keys={ctx.out_keys}", log_file)
    return ctx

Segment ごとの処理は、組み立て済みの関数を順に呼ぶだけ。固定ヘッダを先に作り、値を出せなかった項目は {出力キー}_WARN に理由を残す(該当箇所)。

def build_stats(
    seg:      list,
    compiled: List[Tuple[str, Any]],
) -> Dict[str, Any]:
    """
    コンパイル済みエントリリストに基づきサマリー dict を構築
    固定ヘッダ(seg_id, seg_ts_start, seg_ts_end, seg_rows)は常に付与。
    warn 発生時は {out_key}_WARN キーに理由を記録。
    value が None(out of range等)の場合はそのキーを出力しない。
    """
    n_rows = len(seg)
    result: Dict[str, Any] = {
        "seg_id"      : seg[0][0],
        "seg_ts_start": seg[0][2],
        "seg_ts_end"  : seg[-1][2],
        "seg_rows"    : n_rows,
    }
    judges: List[Tuple[str, Any]] = []
    for out_key, func in compiled:
        if isinstance(func, _JudgeFunc):
            judges.append((out_key, func))
            continue
        value, warn = func(seg, n_rows)
        if warn:
            result[f"{out_key}_WARN"] = warn
        elif value is not None:
            result[out_key] = value

6-5. Act からは2つ呼ぶだけ

統計量を出す Act は、起動時に init_stats、Segment ごとに calc_stats を呼ぶ。Socket で送る Act の場合(tri_s12_act_socket.py、送信部分)。

        # 出力データ項目定義(a_send_stats_trigger のみ)
        if mode == "stat":
            stats_ctx    = init_stats(config, col_def, MODULE_NAME, TRIGGER_NAME)
        else:
            stats_dict = calc_stats(stats_ctx, segment, seg_id)
            messages = [json.dumps(stats_dict, ensure_ascii=False, default=str) + sep]

CSV(a_save_stats_trigger)、SQLite(a_store_stats_trigger)、MQTT(a_mqtt_pub_stats_trigger)、PostgreSQL(a_calc_stats_to_pg_trigger)も同じ形で呼んでいる。送り先が変わっても、統計量の設定は同じものを使い回せる。

7. 現場で運用・改善していくうえでのポイント

設定の誤りは起動時に止まる

  • column_register_map と out_coldef の番号が一致しない、列番号が範囲外、知らない統計量の名前、パラメータの誤りは、起動時に止まる
     
  • 稼働してから「あの列、出てなかった」と気づく事態を避けるため

稼働中に出せなかった値は、理由が残る

状況 出力
有効な値が1つもない(全行 Null など) {出力キー}_WARN: "no_valid_values"
スライスした結果が空 {出力キー}_WARN: "slice_empty"
nth が範囲外 {出力キー}_WARN: "nth=N out of range"

欠損の既定値に注意

  • Find は、値がない・変換できないときに既定値(省略時は -9999 / -9999.9)を入れて送る
     
  • この既定値は数値に変換できるので、有効な値として集計されてしまう(平均や最小が歪み、n_null にも数えられない)
     
  • 統計量を出すときは、Find の int_default / float_default を null にする。欠損が None のまま届き、集計から除かれて n_null に数えられる

ギャルさん: 「-9999 が平均に混ざってたら、そりゃ異常って出るわ」

工場さん: 「異常なのはデータじゃなくて設定だったってやつだな」

まずは基本統計から

  • 最初はパターンA(基本統計量)で動かし、実際の波形を見ながら区間や分布の統計量を足していく。完璧を最初から狙わないのが Trial の鉄則
用途 組み合わせ
まず動かす 基本統計量
異常検知・管理図 分布(パーセンタイル・IQR・σ境界)+基本統計量
工程の挙動を知る 区間別比較(立上り・定常)
トレーサビリティ カテゴリ列(LOT の先頭・最終・最頻値)
MT法・機械学習 上を組み合わせ、out_coldef で explanatory にした列を特徴量に

参考:Tri-On-Edge プロジェクトについて

本記事で紹介したコンセプトや設計思想の詳細は、オープンコンセプト Tri-On-Edge として公開中(ドキュメント:CC BY 4.0 コード:MIT)

GitHub: https://github.com/yoshiiwt-hub/tri-on-edge-concept


0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?