【何からでも収集 何にでも連携 編】自分がほしかった生産現場データ活用のコードとコンセプトつくってみた [生産現場] [PLC] [Python]
生産現場 工場IoT 製造DX PLC Python
関連記事:波形切り出し編
やりたいこと
- 生産現場の機器・設備からデータを集め、見える化・トレサビ・設備制御などで活用したい
- 機器ごとの違いや送り先の違いに振り回されず、何からでも集めて、何へでもつなげたい
困りごと
- 生産現場には色々な機器がありすぎる(PLC、パソコン、装置組込みのコントローラやセンサなど)
- 送り先のIT側にも色々な環境がありすぎる(オンプレサーバ、クラウド、各種DB、ファイルや外部通知など)
- 「このPLCから取って、このDBへ入れる」と1対1でベタ書きすると、機種変更や出力先追加のたびにコードがスパゲッティ化する
やったこと
- Stream の Trigger 構造を整理し、Find → Core(波形切り出し)→ Act の3段階で入出力を疎結合にした
- 入力元(PLC・現場PC・装置等)と出力先(DB・クラウド・サーバ等)を差し替えやすい モジュール構造(Find Trigger / Act Trigger) にした
- 実際の Find Trigger / Act Trigger は末尾の Appendix に掲載
工場さん: 「現場には古いPLCも新しいコントローラもPCも混在してるんだわ。出力先だって、まずはローカルで様子を見て、後からDBやクラウドへつなぐなんてことも普通にある」
ギャルさん: 「それ毎回コード書き換えてたらメンテ地獄だよね!集める口(Find)と送る口(Act)を Core でつないで疎結合にしちゃえば、あとから差し替え放題っしょ!」
1. 疎結合の Trigger 構造
-
入力側(Find Trigger)の抽象化:PLC、エッジPC、装置組み込みなど、プロトコルや取得手段が違っても、後段の Core には統一フォーマットのレコード列として流す
-
中心(Core:波形切り出し)の責務:入力ストリームを常時監視し、条件に従って意味のある区間(セグメント)を切り出す
- 出力側(Act Trigger)の抽象化:DB書込み、CSV/SQLite保存、クラウド送信、PLC書戻し、画面表示など、送り先が変わっても Find や Core のロジックを振り回さない
ビビり新人くん: 「PLCもDBもクラウドも全部同じパイプラインに乗せようとすると、逆に設定や分岐が複雑になって壊れやすくなりませんか……?」
ギャルさん: 「逆に、中間のデータ形式と Core のルールをシンプルに固定しちゃうんだよ!入口(Find)と出口(Act)を勝手に繋がないのが安定のコツっしょ!」
2. Find → Core(波形切り出し)→ Act の流れ
各モジュールの役割をはっきりさせるため、データを「集めて、切り出して、つなげる」一連の処理を、Find → Core(波形切り出し)→ Act の3段階で整理した。
-
Find(見つける・集める):PLCやPC、組込み機器、ファイル、DBやクラウドなど、さまざまな入力元から現在値・ログ・差分を取得し、ストリーム(レコードの流れ)として Core へ渡す
-
Core(波形切り出し:Stream Core):流れてくるレコードを常時監視し、開始条件(
seg_start)と終了条件(seg_end)をもとに0_Idle→1_Start→2_Mid→3_Endの4状態で「意味のある区間(セグメント)」を切り出す
- Act(動く・つなげる):Core から受け取ったセグメントに対して、ファイル保存・DB登録・クラウド送信・PLC書戻し・異常診断・画面表示などのアクションを実行する
入力の吸収を Find、区間の切り出しとキュー受け渡しを Core、出力・処理を Act に分離しているため、「Find だけ差し替える」「Core の切り出し条件はそのままに Act の出力先を増やす」といった変更がしやすい。
工場さん: 「現場だと、まずは手元のPCにログを落とすだけで十分ってことも多い。クラウドへ飛ばすのは、中身が固まってからでいいんだよ」
ビビり新人くん: 「Find と Core と Act が3段階で分かれているから、最初はローカル出力の Act だけにしておいて、あとからDBやクラウドの Act を追加しても既存処理を壊さずに済みますね!」
3. 実装したコード(Find Trigger / Act Trigger 呼び出し)
実際のコードは、GitHubリポジトリで公開中。公開リポジトリへのリンクは本記事の末尾に記載
入力側(Find Trigger)と出力・処理側(Act Trigger)を独立したモジュールとして実装。Core は設定ファイルを見て、指定された Find と Act を呼び出す。
そのため、つなぐ相手を変える時も Core は触らず、設定ファイルを書き換えるだけで済む。
1. 設定ファイルに「モジュール名」と「関数名」を書く
Find 側の設定(trigger_setting_01.json):
, "find_trigger": {
"module": "src.tri_s11_find_demo"
, "func" : "f_demo_csv_trigger"
Act 側の設定(trigger_setting_02.json):
, "act_trigger": {
"module": "src.tri_s12_act_tmpl_queue"
, "func" : "a_template_imq_trigger"
module は Python のモジュール名(ドット区切り)、func はその中の関数名。CSV のデモから MQTT 受信に切り替えるなら、ここを tri_s11_find_mqtt の関数に書き換える。
2. importlib で関数を取り出す
Core は起動時に、設定の文字列から関数を取り出す(tri_s10_stream_core.py)。
"""Find Trigger (Input Worker) Config"""
find_trigger_config = setting_01.get("find_trigger") or {}
if not find_trigger_config: raise ValueError("Find Trigger Setting Not Found.")
mod_find = importlib.import_module(find_trigger_config["module"])
func_find = getattr(mod_find, find_trigger_config["func"])
base.output_log(MODULE_NAME, f"find_trigger_config {find_trigger_config}", log_file)
"""Act Trigger (Post-Proc Worker) Config"""
act_trigger_config = setting_02.get("act_trigger") or {}
if not act_trigger_config: raise ValueError("Act Trigger Setting Not Found.")
mod_act = importlib.import_module(act_trigger_config["module"])
func_act = getattr(mod_act, act_trigger_config["func"])
importlib.import_module() で文字列からモジュールを読み込み、getattr() でその中の関数を取り出す。コードに「CSV なら」「MQTT なら」の記述は不要なので、Find や Act を増やしても Core は変わらない。
3. 関数に「性質」を持たせる
Act の関数には、Core にどう渡してほしいかを属性として付けられる。たとえば SQLite (storage queue) でキューを受け取りたい Act はこう宣言する。(tri_s12_act_sqlite.py)。
a_template_stq_trigger.QMODE = "stq"
a_template_stq_trigger.CUT_LAST_ROW = True # 終点行(変化後)を core が除外して渡す
Core は取り出した関数からこの属性を読み、キューの種類と終点行の扱い等を決める(該当箇所)。
"""Queue Mode (In-Memory / Storage)"""
_qmode_attr = getattr(func_act, "QMODE", None)
act_qmode = _qmode_attr if _qmode_attr is not None else "imq"
if act_qmode not in ("imq", "stq"):
raise ValueError(f"act_trigger QMODE must be 'imq' or 'stq'. Got: {act_qmode!r} func={act_trigger_config.get('func')}")
is_stq = True if act_qmode == "stq" else False
4. Trigger(worker)の形をそろえる
Find / Act で引数の並びと型は同じ。
Find の例(tri_s11_find_demo.py):
def f_demo_random_trigger(
queue_out: queue.Queue,
col_def: Dict[int, Any],
config: Dict[str, Any],
stop_event: threading.Event
) -> None:
Act の例(tri_s12_act_tmpl_queue.py):
def a_template_imq_trigger(
post_queue: queue.Queue,
col_def: Dict[int, Any],
config: Dict[str, Any],
stop_event: threading.Event
) -> None:
受け取るのは「キュー」「列の定義」「その Trigger 用の設定」「停止の合図」の4つ。Find はキューに入れる側、Act はキューから取り出す側。どちらも stop_event が立つまでループする。
5. スレッドで起動
取り出した関数は、それぞれ別のスレッドで動かす。
Find の起動部分(該当箇所)。
"""======== START WORKER ========"""
"""入力ワーカー(Find Trigger)起動"""
input_queue = queue.Queue(maxsize=10000)
stop_event_find = threading.Event()
find_trigger_id = find_trigger_config.get("func", "find")
t_find = threading.Thread(
target=_worker_wrapper,
args=(
func_find,
stop_event_find,
find_trigger_id,
input_queue,
col_define_f,
find_trigger_config,
stop_event_find
),
daemon=True)
t_find.start()
Act の起動部分(該当箇所)。
"""後処理ワーカー(Act Trigger)起動"""
act_queue = queue.Queue(maxsize=10000)
stop_event_act = threading.Event()
act_trigger_id = act_trigger_config.get("func", "act")
t_act = threading.Thread(
target=_worker_wrapper,
args=(
func_act,
stop_event_act,
act_trigger_id,
act_queue,
col_define_a,
act_trigger_config,
stop_event_act
),
daemon=True)
t_act.start()
直接 func_find を動かさず、_worker_wrapper を通して、例外処理などをまとめている。新しい Find / Act を書くときに毎回同じ例外処理を書かなくてよい。
まとめ:新しいつなぎ先を足す手順
-
tri_s11_find_*.pyまたはtri_s12_act_*.pyに、上と同じ引数の関数を書く
- Act なら、必要に応じて
QMODEとCUT_LAST_ROWを宣言する
- 設定ファイルの
moduleとfuncを書き換える
ビビり新人くん: 「Find と Act が別々のモジュールとして分かれているから、新しい機器や出力先を増やすときも、既存のコードを触らずテンプレートをコピーして作れるんですね」
ギャルさん: 「そうそう!共通の約束事(キューの受け渡しやエラー報告)は枠組み側に任せて、固有の接続処理だけ書けばいいから拡張がめっちゃラクなの!」
4. 現場でつなぐときの現実的なポイント
-
最初から全部つなごうとしない:まずは1つの機器と1つの出力先(例:ローカルログやDB)で Find → Core → Act を通し、動いてから対象機器や送り先を増やす方が手戻りが少なくなる
-
通信断・出力先遅延への備え:DBやクラウド、サーバはネットワークやメンテナンスの影響を受ける。再接続管理やスプール/リトライの仕組みを活かすと、一時的な切断でもデータを失いにくくなる
-
機器・プロトコルの違いは入口で吸収する:PLCのメモリ読み出しや組込み機器のシリアル/HTTP取得などの固有処理は
Find側に閉じ込め、中心のCoreをクリーンに保つのが長く使うコツ
工場さん: 「仕組みがどれだけ立派でも、現場の設備を止めたり、担当者が追い切れなくなったりしたら本末転倒だ。小さく始めて、動かしながら育てていくのが一番だな」
ギャルさん: 「それな!『何からでも集めて、何へでもつなげる』土台さえあれば、現場の変化にもスッと合わせられるっしょ!」
Appendix:Find(集める)とAct(つなぐ・動かす)モジュール一覧
A.1 Find(いろいろな機器・データ源から集める)
| モジュール | 役割・対象 |
|---|---|
tri_s11_find_demo.py |
実機が無い環境で動作を確かめるためのデモデータ(乱数・CSV)を流す |
tri_s11_find_socket.py |
TCPソケットサーバに要求を送り、返ってきた値を取込む |
tri_s11_find_slmp.py |
MELSEC・キーエンス等のPLCからSLMPでデバイス・ラベルの値を読込む |
tri_s11_find_file.py |
フォルダに置かれたファイルを監視し、ファイル情報を取込む |
tri_s11_find_text_csv.py |
フォルダ内のCSV・TSV等の区切りテキストを行ごとのデータとして取込む |
tri_s11_find_text_json.py |
フォルダ内のJSONファイルを読込み、レコード化して取込む |
tri_s11_find_mqtt.py |
MQTTトピックに届く値(1トピック1列/JSON等)を取込む |
tri_s11_find_ftp.py |
エッジ側FTPサーバで装置からのファイルを受信して取込む |
tri_s11_find_ftp_csv.py |
FTPで受け取ったCSVファイルを読込み、レコード化して取込む |
tri_s11_find_smb.py |
ネットワーク共有フォルダ(SMB)のファイルを監視して取込む |
tri_s11_find_rdb_postgres.py |
上位DB(PostgreSQL)に追記された差分データを定期取得して取込む |
tri_s11_find_alive.py |
現場機器のTCP死活(OK / NG)を定期確認し、データとして取込む |
tri_s11_find_agentic.py |
別プロセス(エージェント)からTCPソケット経由で値を受け取って取込む雛形 |
A.2 Act(いろいろな出力先へつなぐ・処理・可視化する)
| モジュール | 役割・出力先/処理内容 |
|---|---|
tri_s12_act_tmpl_queue.py |
セグメントを受け取って処理するActを作るときの雛形 |
tri_s12_act_tmpl_connect.py |
新しい外部接続先へ送るActを作るときの接続・送信・切断の雛形 |
tri_s12_act_socket.py |
セグメント全行や統計量をTCPソケットで他システムへ送信する |
tri_s12_act_slmp.py |
セグメントの値や統計量をSLMPでPLCのデバイス・ラベルへ書込む |
tri_s12_act_csv.py |
セグメント全行または統計量をエッジ上のCSVファイルに保存する |
tri_s12_act_file.py |
Findが検出したファイルを操作 (move/copy/delete /zip) |
tri_s12_act_sqlite.py |
セグメント全行または統計量をSQLiteに蓄積する |
tri_s12_act_ftp.py |
ファイルを上位側のFTPサーバへ送信する |
tri_s12_act_smb.py |
ファイルをネットワーク共有フォルダへアップロードする |
tri_s12_act_mqtt.py |
セグメント全行または統計量をJSON化してMQTTトピックへPublishする |
tri_s12_act_rdb_postgres.py |
セグメント全行または統計量をPostgreSQLテーブルへ登録する |
tri_s12_act_rdb_alive.py |
死活監視結果をPostgreSQL専用テーブルへUPSERTし、状態変化を通知する |
tri_s12_act_viz.py |
セグメント波形の折れ線グラフ画像保存や、重ね描きグラフのWeb配信デモ |
tri_s12_act_viz_tk_value.py |
最新セグメントの指定列の値をウィンドウに一覧表示する雛形 |
tri_s12_act_viz_tk_graph.py |
指定列の波形を直近セグメントと重ねてウィンドウにリアルタイム描画する雛形 |
tri_s12_act_diag_gb.py |
波形をガードバンド(上限・下限の帯)と比較して異常判定する |
tri_s12_act_diag_gb_viz.py |
ガードバンド判定の結果を画像で保存するデモ |
tri_s12_act_diag_mt.py |
セグメント統計量をMT法(マハラノビス距離)で評価し、異常判定する |
tri_s12_act_diag_spc.py |
セグメント内の値の並びをSPCルールで判定する |
ビビり新人くん: 「PLCやDBだけじゃなくて、CSV・SQLite・MQTT・画面表示・異常診断まで揃っているんですね。現場の環境に合わせて組み合わせられるのは心強いです」
工場さん: 「最初はローカルのCSVや画面表示で様子を見て、慣れてきたらDBやクラウドへつなぐ、なんて段階的な進め方がやりやすいな」
参考:Tri-On-Edge プロジェクトについて
本記事で紹介したコンセプトや設計思想の詳細は、オープンコンセプト Tri-On-Edge として公開中(ドキュメント:CC BY 4.0 コード:MIT)