前回の記事では、「STWIN.box」（STEVAL-STWINBX1）とセンサ･データ収集用ファームウェア「FP-SNS-DATALOG2」を使って、GUIツール（hsddatalog_gui.py）による操作を試してみました。
前回記事: IoT向け小型センサ･ノード開発キット「STWIN.box 」を使ってセンサ･データ収集①　セットアップ & GUI操作

このツールは、リアルタイムでのプロット表示 & データ保存をGUI画面で操作できます。次に、収集したログデータを別の環境で活用するために、その用途に応じて変換する（例: *.DAT → *.csv）必要が出てきます。現時点では、このGUIツールはデータ変換に対応していませんが、変換用途のpythonスクリプトがいくつか用意されています。今回はこちらのコマンド操作をいくつか試してみます。

Python Script
Script	内容	Note
hsdatalog_plot.py	データプロット表示	本記事で紹介
hsdatalog_cli.py	コマンド操作でのデータロギング	本記事で紹介
hsdatalog_data_export.py	.datデータをCSVデータに変換	本記事で紹介
hsdatalog_dataframes.py	pandas用データフレーム表示	本記事で紹介
hsdatalog_to_nanoedge.py	NanoEdge AIツールへインポート用
hsdatalog_to_unico.py	Unico-GUIツールへインポート用
hsdatalog_to_wav.py	マイクデータをwavファイルへ変換
hsdatalog_gui.py	GUI起動。リアルタイムプロット、データロギングをGUIで操作可能。

参考資料: ユーザマニュアルUM3106

1. 準備

使用環境は、前回と同じです。環境のセットアップができていない場合、前回記事の“1.ハードウェアの準備”および“2.ソフトウェアの準備”の章を参考にセットアップしてください。準備完了後、コマンドウインドウを起動します。

本記事では前回と同様にAnacondaプロンプトを使います。Utilitiesフォルダ下の以下場所まで移動。
(base) D:\...\Utilities\HSDPython_SDK\examples>

ここに（\examples）、前回のGUIツール（Hsdatalog_gui.py）で保存したデータフォルダが既にある状態で進めていきます。

2. hsdatalog_plot.py データプロット表示

“hsdatalog_plot.py”は、グラフ表示用のscriptです。
FP-SNS-DATALOG1の時と違って、センサ名指定時はDATファイル名そのものを入力します。
（DATALOG1の時はセンサ名のみを入力する形式で、ファイル名末尾の“_acc”といったサフィックスを省略する必要がありました）
ヘルプメニュー（“-h”）に、DATALOG1とDATALOG2それぞれにコマンド入力例があるのでそれを参照してください。

コマンド: python hsdatalog_plot.py データフォルダ名 [OPTIONS]

実行例: iis2dlpcセンサの加速度データをプロット
(base) D:\...\Utilities\HSDPython_SDK\examples>python hsdatalog_plot.py 20230629_18_12_11 -s iis2dlpc_acc

hsdatalog_plotのhelp

hsdatalog_plot.py (help)

(base) D:\_MySTM32Cube3\STM32CubeFP_DATALOG2_V2.1.1\Utilities\HSDPython_SDK\examples>python hsdatalog_plot.py -h
Usage: hsdatalog_plot.py [OPTIONS] ACQ_FOLDER

Options:
  -s, --sensor_name TEXT          Component name (Sensor or Algorithm) - use
                                  "all" to extract all active Component data,
                                  otherwise select a specific Component by
                                  name
  -st, --start_time INTEGER       Start Time - Data plot will start from this
                                  time (seconds)
  -et, --end_time INTEGER         End Time - Data plot will end up in this
                                  time (seconds)
  -r, --raw_data                  Uses Raw data (not multiplied by
                                  sensitivity)
  -l, --labeled                   Plot data including information about
                                  annotations taken during acquisition (if
                                  any)
  -p, --subplots                  Multiple subplot for multi-dimensional
                                  sensors
  -fp, --fft_plots                Display frequency plots for inertial sensors
                                  and microphones
  -cdm, --custom_device_model <INTEGER INTEGER TEXT>...
                                  Upload a custom Device Template Model (DTDL)
  -v, --version                   hsdatalog_plot tool version number
  -d, --debug                     [DEBUG] Check for corrupted data and
                                  timestamps
  -h,  --help                     Show this message and exit.
  --help                          Show this message and exit.

-> Script execution examples:

-> HSDatalog1:
   python hsdatalog_plot.py ..\..\STWIN_acquisition_examples\STWIN_00001
   python hsdatalog_plot.py ..\..\STWIN_acquisition_examples\STWIN_00001 -s all
   python hsdatalog_plot.py ..\..\STWIN_acquisition_examples\STWIN_00002 -s IIS3DWB -st 1 -et 10
   python hsdatalog_plot.py ..\..\STWIN_acquisition_examples\STWIN_00002 -s all -l
   python hsdatalog_plot.py ..\..\STWIN_acquisition_examples\STWIN_00002 -l -p -r

-> HSDatalog2:
   python hsdatalog_plot.py ..\..\STWIN.box_acquisition_examples\20221017_13_18_08
   python hsdatalog_plot.py ..\..\STWIN.box_acquisition_examples\20221017_13_18_08 -s all
   python hsdatalog_plot.py ..\..\STWIN.box_acquisition_examples\20221017_13_18_08 -s iis3dwb_acc -st 1 -et 10
   python hsdatalog_plot.py ..\..\STWIN.box_acquisition_examples\20221017_13_18_08 -s all -l
   python hsdatalog_plot.py ..\..\STWIN.box_acquisition_examples\20221017_13_18_08 -l -p -r

出力結果:

3. hsdatalog_cli.py コマンドラインからロギング実行

「STWIN」の記事で紹介したcli_example.exe（実行用バッチファイルは、“USB_DataLog_Run.bat”）と機能的にほぼ同じですが、こちらはPythonで書かれています。

コマンド: python hsdatalog_cli.py [OPTIONS]

実行例:
(base) D:\...\Utilities\HSDPython_SDK\examples>python hsdatalog_cli.py

cliは“コマンドライン･インタフェース”の略だと想定されますが、起動後はなぜかマウス操作で行います。コマンドウインドウ内の以下文字部分をクリックして操作します。

Start: ログスタート（自動スタート）
Stop: 停止
Quit: 終了

hsdatalog_cli.pyのhelp

hsdatalog_cli.py (help)

(base) D:\_MySTM32Cube3\STM32CubeFP_DATALOG2_V1.1.0\Utilities\HSDPython_SDK\examples>python hsdatalog_cli.py -h
Usage: hsdatalog_cli.py [OPTIONS]

Options:
  -o, --output_folder TEXT        Output folder (this will be created if it
                                  doesn't exist)
  -s, --sub_datetime_folder BOOLEAN
                                  Put automatic datetime sub-folder in Output
                                  folder [HighSpeedDatalogv2 Only] (this will
                                  be created if it doesn't exist)
  -an, --acq_name TEXT            Acquisition name
  -ad, --acq_desc TEXT            Acquisition description
  -f, --file_config TEXT          Device configuration file (JSON)
  -u, --ucf_file TEXT             UCF Configuration file for MLC or ISPU
  -iof, --ispu_out_fmt TEXT       ISPU output format descrition json. If
                                  passed, this json will be saved in
                                  acquisition folder
  -t, --time_sec INTEGER          Duration of the current acquisition
                                  [seconds]
  -i, --interactive_mode          Interactive mode. It allows to select a
                                  connected device, get info and start the
                                  acquisition process
  -v, --version                   HSDatalogToUnico Converter tool version
                                  number
  -h, --help                      Show this message and exit.

-> Script execution examples:
   python hsdatalog_cli.py
   python hsdatalog_cli.py -o .\your_out_folder
   python hsdatalog_cli.py -t 10
   python hsdatalog_cli.py -i
   python hsdatalog_cli.py -t 20 -an your_acq_name -ad your_acq_descr
   python hsdatalog_cli.py -f ..\STWIN_config_examples\DeviceConfig.json -u ..\STWIN_config_examples\UCF_examples\ism330dhcx_six_d_position.ucf

使ってみたものの、あまり利用用途が見えず、こちらを使うのであればGUIツールであるhsdatalog_gui.pyの方がベターと感じました。また、自動で定期的にログ取得する場合など、PC経由でバッチファイルから実行するケースでは、cli_example.exeの使用をおすすめします。

cli_example.exe 使用例:
→バッチファイルで定期的に自動実行し、PC内へのログデータ保存を想定
cli_example.exe -f .\sample\device_config.json -t 20 -y

上記コマンドの設定例
・センサ設定用コンフィグファイルを指定（-f device_config.json）
・センシング時間 = 20秒（-t 20）
・ユーザからのキー確認を省略（-y）

4. hsdatalog_data_export.py データ変換

.DATファイルを、CSV / TSVファイルに変換できます。

コマンド: python hsdatalog_data_export.py データフォルダ名 [OPTIONS]

実行例: [20240228_17_45_55]フォルダ内のセンサ･データファイル（.DAT）すべてを変換。
(base) D:\...\Utilities\HSDPython_SDK\examples>python hsdatalog_data_export.py 20240228_17_45_55 -s all

"-s"スイッチの後にセンサ名を指定することで、個別変換も可能。新規に[20240228_17_45_55_Exported]フォルダが作成され、その中に変換後（フォーマット指定省略時のデフォルトは“.csv”）のファイルが保存されます。

変換データ例（csv）: iis2dlpc_acc

"-s"スイッチを省略した場合、センサのセレクト･メニューが表示され、ここで個別選択することもできます。

0 - iis2dlpc_acc
1 - iis2iclx_acc
2 - iis2mdc_mag
3 - ilps22qs_press
4 - imp23absu_mic
5 - imp34dt05_mic
6 - stts22h_temp
7 - iis3dwb_acc
8 - ism330dhcx_acc
9 - ism330dhcx_gyro
q - Quit
Select one PnPL_Component (q to quit) ==>

hsdatalog_data_export.pyのhelp

hsdatalog_data_export.py (help)

(base) D:\_MySTM32Cube3\STM32CubeFP_DATALOG2_V1.1.0\Utilities\HSDPython_SDK\examples>python hsdatalog_data_export.py -h
Usage: hsdatalog_data_export.py [OPTIONS] ACQ_FOLDER

Options:
  -o, --output_folder TEXT     Output folder (this will be created if it
                               doesn't exist)
  -f, --file_format [CSV|TSV]  Exported file format
  -s, --sensor_name TEXT       Sensor Name - use "all" to extract all active
                               sensors data, otherwise select a specific
                               sensor by name
  -st, --start_time INTEGER    Start Time - Data conversion will start from
                               this time (seconds)
  -et, --end_time INTEGER      End Time - Data conversion will end up in this
                               time (seconds)
  -r, --raw_data               Uses Raw data (not multiplied by sensitivity)
  -l, --labeled                Includes annotations taken during acquisition
                               (if any) in the exported data
  -d, --debug                  [DEBUG] Check for corrupted data and timestamps
  -h, --help                   Show this message and exit.

-> Script execution examples:

-> HSDatalog1:
   python hsdatalog_data_export.py ..\..\STWIN_acquisition_examples\STWIN_00001
   python hsdatalog_data_export.py ..\..\STWIN_acquisition_examples\STWIN_00001 -s all
   python hsdatalog_data_export.py ..\..\STWIN_acquisition_examples\STWIN_00001 -s ISM330DHCX -f TSV -r
   python hsdatalog_data_export.py ..\..\STWIN_acquisition_examples\STWIN_00001 -o ..\..\STWIN_acquisition_examples\EXPORTED_DATA_FOLDER 


-> HSDatalog2:
   python hsdatalog_data_export.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -s all
   python hsdatalog_data_export.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -s ism330dhcx_gyro
   python hsdatalog_data_export.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -s ism330dhcx_gyro -r
   python hsdatalog_data_export.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -f TSV -s ism330dhcx_gyro
   python hsdatalog_data_export.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -f CSV -s ism330dhcx_gyro -l -o .\expDataByTags

5. hsdatalog_dataframes.py データフレーム表示

5-1. スクリプト実行

データフレーム（Pandasで使われるデータ構造）として取り込んだ時の、「何行 x 何列」といった情報が表示されます。試した感じでは用途がよくわかりませんでした（表示のみ？）。

コマンド: python hsdatalog_dataframes.py データフォルダ名 [OPTIONS]

実行例: [20240228_17_45_55]フォルダ内のセンサファイル（.DAT）すべてをデータフレーム表示。
(base) D:\...\Utilities\HSDPython_SDK\examples>python hsdatalog_dataframes.py 20240228_17_45_55 -s all

hsdatalog_dataframes.pyのhelp

hsdatalog_dataframes.py (help)

(base) D:\_MySTM32Cube3\STM32CubeFP_DATALOG2_V1.1.0\Utilities\HSDPython_SDK\examples>python hsdatalog_dataframes.py -h
Usage: hsdatalog_dataframes.py [OPTIONS] ACQ_FOLDER

Options:
  -s, --sensor_name TEXT     Sensor Name - use "all" to obtain all active
                             sensors dataframes, otherwise select a specific
                             sensor by name
  -st, --start_time INTEGER  Start Time - Data conversion will start from this
                             time (seconds)
  -et, --end_time INTEGER    End Time - Data conversion will end up in this
                             time (seconds)
  -r, --raw_data             Uses Raw data (not multiplied by sensitivity)
  -l, --labeled              Includes annotations taken during acquisition (if
                             any) in the extracted dataframe
  -d, --debug                [DEBUG] Check for corrupted data and timestamps
  -h, --help                 Show this message and exit.

-> Script execution examples:

-> HSDatalog1:
   python hsdatalog_dataframes.py ..\..\STWIN_acquisition_examples\STWIN_00002
   python hsdatalog_dataframes.py ..\..\STWIN_acquisition_examples\STWIN_00002 -s all
   python hsdatalog_dataframes.py ..\..\STWIN_acquisition_examples\STWIN_00002 -s IIS3DWB -l -r

-> HSDatalog2:
   python hsdatalog_dataframes.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39
   python hsdatalog_dataframes.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -s all
   python hsdatalog_dataframes.py ..\..\STWIN.box_acquisition_examples\20221017_13_04_39 -s iis3dwb_acc -l -r

実行結果（一部）:

今回確認した限りでは、-sスイッチの後にセンサ名を指定した場合、何も出力されませんでした。all指定した場合のみ受け付けるようです。スクリプトの不備かもしれません。

補足: （Pandas）データフレームへの変換

方法1: read_csvで読み込む

いったんhsdatalog_dataframes.pyから離れて、データフレームとして実際に活用するための他の手順を試してみます。作業ツールとしてJupyter Notebookを使います。
最初に、hsdatalog_data_export.pyで一度csvに変換しておきます。続いて、できたファイルをPandasのread_csvで読み込むのが一番簡単です。

方法2: サンプルスクリプトを利用する

念のため、.DATファイルを直接データフレームに変換できるかどうか調べてみましたが、以下使えそうなサンプルが同じフォルダ内に入っていました。

nb_hsdatalog_converters.ipynb （Jupyter Notebookファイル）

多少煩雑ですが、こちらでもデータフレームへの変換は可能です。

上のサンプルを参考にして、取り込んでみます。

取り込まれたデータ"dataframe"は、リスト構造だったので（紛らわしいですが、“dataframe”という名前のリスト構造体変数です）、続いてデータフレームに変換します。
私の方では背景が理解できませんでしたが、この"dataframe"リストは2重構造になっているようです。第1要素[0]の中に、リスト全体（ここでは270000行のリスト）が格納されている形になっていました。
したがって、データフレームとして取り込む場合は次のようにします。
df=pd.DataFrame(dataframe[0][:])

残りのコマンドについては、次回記事でトライします。