映像を撮りにくい屋内で人の姿勢を把握したいなら、光以外の観測手段が必要になる。
慶應義塾大学・NTT・東京理科大学の共同研究SoundMHPEは、室内に流した音の変化から、1〜3人の3次元姿勢を推定する実験を報告した。［1］
導入を考えるうえでの要点は、音を測る装置、時間と周波数を扱うモデル、設置場所ごとの検証を一体で設計することだ。
論文『Sound-based Multi-Person 3D Pose Estimation』のarXiv v1は2026年9月4日に公開され、ECCV 2026への採択が記載されている。NTTも9月11日の公式告知で紹介した。日本の研究グループによる、音響センシングと機械学習を組み合わせた成果である。［1・2］
本稿では、音から関節座標を得るまでの処理を追い、屋内計測の実証実験を設計するときに確認すべき条件を整理する。
2026年9月15日時点の公開論文v1と公式告知に基づく解説。性能値は著者らの報告であり、筆者によるモデル実行・実機計測は行っていない。時間換算とクエリ数の計算のみローカルで確認した。SoundMHPEは研究手法であり、本稿は製品としての提供や導入効果を確認したものではない。
観測するのは、人体によって変わる音の伝わり方
SoundMHPEが使うのは、既知の信号をスピーカーから流し、受信した音の変化を測る能動音響センシングだ。人の発話内容や足音を手掛かりにする方式ではない。［1：3.1節］
実験では2台のスピーカーと、1台のアンビソニックマイクを使う。マイクの入力は、全方向の成分を表すWと、方向成分を持つX・Y・Zの計4チャンネル。音源には、周期内で周波数が変化するTSP（Time Stretched Pulse）信号を用いる。［1：3.1・4.1節］
人が腕を上げたり向きを変えたりすると、人体による音の遮蔽や反射が変わる。モデルは、その変化と姿勢との対応を学習する。ただし、複数人になると各人の影響が重なり、人から人へ反射する経路も加わる。ある時刻の変化を、単純に「この人の腕」と対応付けることは難しい。［1：1節］
この問題を、SoundMHPEは二段階で扱う。
図は論文3節を基に筆者が処理の流れを整理したもの。前半で時間・周波数の手掛かりを抽出し、後半で人物と時刻に対応する姿勢へ変換する。
短い窓と長い窓を併用する理由
音声認識などで使われる短時間フーリエ変換（STFT）は、短い区間ごとに信号の周波数成分を調べる処理だ。窓を短くすると変化した時刻を捉えやすくなり、長くすると近い周波数を区別しやすくなる。
複数人の動きを扱うなら、動作が変わったタイミングも、微細な周波数の違いも欲しい。そこでAcoustic Multi-scale Encoder（AME）は、同じ入力から3種類のlog-Melスペクトログラムを作る。Mel変換は周波数軸をフィルターバンクで集約する処理である。［1：3.1節］
論文では、姿勢1フレームに対応する音の長さを $L$、基本のMelフィルター数を $B$ とする。設定は $N_{\mathrm{in}}=24$、4チャンネル、$B=128$。各入力の形は次のようになる。
| 入力表現 | STFTの窓 | Melフィルター数 | 形状：時間区間数×チャンネル数×周波数特徴数 | 主に捉えたい情報 |
|---|---|---|---|---|
| 時間分解能を重視 | $L$ | 128 | $24\times4\times128$ | 動作変化の時刻 |
| 中間 | $2L$ | 256 | $12\times4\times256$ | 時間と周波数の両方 |
| 周波数分解能を重視 | $4L$ | 512 | $6\times4\times512$ | 細かな周波数変化 |
姿勢データは20 fpsなので、窓幅はそれぞれ50、100、200 msに相当する。これは論文の設定からの換算であり、音のサンプリング周波数を20 Hzとする意味ではない。［1：3.1・4.1・4.4節］
各スケールの周波数特徴を256次元に揃えると、時間区間数は $24+12+6=42$、4チャンネルを含むトークン数は168になる。AMEはここへ、役割の異なる注意機構を適用する。［1：3.1・3.3節］
- Temporal Self-Attention：同じ窓幅で作った表現の中で、時間方向の関係を学習する。
- Frequency Self-Attention：同じ音の区間から得た、異なる窓幅の表現を関連付ける。
後者では、長さ $4L$ の音に対応する短窓4個、中窓2個、長窓1個を組にする。異なる時間範囲を無差別に混ぜず、同じ区間の見え方を照合できる構成だ。
この設計は、音響特徴をただ細かく分割すればよい、というものでもない。窓を $L/4,L/2,L$ に寄せた条件の平均関節位置誤差は118.5 mmで、$L,2L,4L$ の106.5 mmより大きかった。著者らの実験では、短い時間窓だけでなく、長い窓による周波数分解能が効いている。［1：5.5節・表6］
人物ごとに、さらに時刻ごとに問い合わせる
後半のTemporal Pose Decoder（TPD）は、物体検出モデルDETRに似た、学習可能なクエリを使う。クエリとは、入力特徴から必要な情報を取り出すためのベクトルだ。ここでは人物候補の姿勢を取り出す役割を持つ。［1：3.2節］
1人分の複数フレームを1本のクエリへ詰め込むと、どの時刻の音を参照すべきかが曖昧になる。SoundMHPEは、人物候補ごとに出力フレーム数と同じ本数の姿勢クエリを用意する。各クエリに人物候補と時刻の埋め込みを与え、対応する音響特徴をcross-attentionで参照させる。
さらに人物候補の存在を表す信頼度用クエリを1本追加するため、クエリ総数は次式になる。［1：3.2節］
$$
Q=M\left(N_{\mathrm{out}}+1\right)
$$
実験設定は人物候補数 $M=15$、出力フレーム数 $N_{\mathrm{out}}=8$ なので、$Q=135$。この15はモデル内の候補枠の数であり、15人同時の姿勢推定を実証した数字ではない。収録・評価した人数は1〜3人だ。［1：4.1・4.4節］
TPDも注意機構を二つに分ける。
- Motion Self-Attention：同じ人物候補のクエリ間で、時間的な動きの関係を学習する。
- Interaction Self-Attention：異なる人物候補のクエリ間で、相互作用を学習する。
同じ人の時間変化と、別の人から受ける影響を、別々の計算で扱う設計である。人物候補の埋め込みは、利用者の実名や恒久的な個人IDを表すものではない。
学習時は、予測した人物候補と正解の人物をHungarian法で対応付け、関節座標の平均二乗誤差と、存在信頼度の二値交差エントロピーを最適化する。後者の重みは0.5。正解データの人物の並び順に、出力枠を固定する必要をなくしている。［1：3.2・4.4節］
実験で確かめられた精度と対象範囲
著者らが構築したAMPデータセットは6時間、約43万2,000フレーム。被験者15人の内訳は男性12人、女性3人、身長150〜181 cmで、21関節の骨格を扱う。正解の姿勢は16台のカメラを使うOptiTrackのモーションキャプチャーで取得した。推論時の入力は音だが、学習用の正解を作る段階ではカメラを使っている。［1：4.1節］
評価は15人を3組に分け、10人で学習して残る5人で試す方式。テスト対象の組を入れ替える3分割交差検証で、未学習の人物に対する結果を平均している。［1：5.1節］
| 手法 | MPJPE：平均関節位置誤差、mm ↓ | PA-MPJPE：位置・回転・尺度を整列した後の誤差、mm ↓ | PCKh@0.5：閾値内の関節割合 ↑ |
|---|---|---|---|
| Shibataらの単一人物向け音響モデルを複数人向けに拡張 | 121.7 | 71.5 | 0.36 |
| Yanらの複数人向けWi-Fiモデルを音響入力に変更 | 119.9 | 69.7 | 0.36 |
| SoundMHPE | 106.5 | 65.0 | 0.43 |
出典：論文4.2・4.3節、表2。比較モデルもAMPで一から再学習している。Wi-Fi機器と音響機器の優劣を直接比較した表ではない。PCKh@0.5は、頭と首の距離の半分を正解判定の閾値に使う。
たとえば106.5 mmは平均約10.7 cmであり、すべての関節がその誤差以内に収まる保証ではない。また65.0 mmは、全体の位置・回転・尺度を正解へ合わせた後の値である。現場で人がどこに立っているかを測りたい場合、この整列後の値だけでは要件を判断できない。
要素を除いた実験では、AMEなしが115.2 mm、TPDなしが116.5 mmだった。複数スケールの音響表現と、フレームごとの姿勢クエリの両方が、今回の条件では改善に寄与している。ただし除去条件では注意機構も標準形へ変更しており、差のすべてを一つの細部だけに帰属させることはできない。［1：5.2節・表3］
人数別のSoundMHPEのMPJPEは、1人で95.0 mm、3人で111.2 mm。複数人を扱えるようになった一方、人数を増やしたときの難しさは残っている。［1：5.3節・表4］
現場導入では、モデルの外側も検証する
この研究から実証実験へ進むなら、検証対象はモデル単体の誤差だけでは足りない。以下は論文を踏まえた筆者の設計上の提案であり、著者らが導入現場で検証した手順ではない。
部屋と機器配置を、試験条件に含める
人物が変える音の伝わり方を使う以上、家具、間仕切り、壁面や機器の配置が変わったときにも、推定が維持されるかを確かめたい。
論文では室内に間仕切りを追加して反射条件を変え、大まかな姿勢を推定できる様子を示している。ただし、この条件のMPJPEは掲載されておらず、複数の別室を横断した定量評価でもない。学習に含まれない人物への汎化と、設置場所が変わったときの汎化は、別の試験として扱う必要がある。［1：5.6節］
実証では、想定する家具配置と人数で基準値を取り、配置変更後の誤差、人物の見落とし、余分な人物候補の出力を記録する。学習データを増やす場合も、同じ部屋のフレーム数を増やすことと、異なる音響条件を増やすことを区別したい。
時間窓と、利用者に結果が届くまでの遅延を分ける
標準設定では、過去16フレーム分と出力対象8フレーム分、合計24フレーム分の音を入力する。20 fpsに換算すると、1.2秒の入力区間から0.4秒分の姿勢列を出力する構成になる。［1：3.1・4.4節］
この1.2秒は、毎回それだけ待つ実装だと確定する値ではない。過去の入力を保持できるためだ。一方、出力8フレームをまとめて扱うモデルなので、単に「20 fpsだから遅延50 ms」とも言えない。
実装時には、入力の収集、ブロック化、前処理、推論、表示の各時刻を記録し、対象の動作から結果の到着までを測る。確認した論文本文には、実機での処理時間やこの一連の遅延の測定値は示されていない。
音を流す条件と、残すデータを決める
映像を入力しない点は、カメラを設置しにくい場所を検討する理由になる。ただし、マイクの導入は収音という別のデータ取得を伴う。音源の帯域・音量・可聴性、既存設備への影響、会話などが記録に含まれる範囲を、設置先で確認する必要がある。TSPという信号名だけから、人に聞こえない動作だとは判断できない。
保存先には、生の録音、音響特徴、推定した骨格座標という段階がある。後段の用途に骨格だけで足りるなら、元の録音を保持する必要性を個別に検討する。顔画像を撮らないことと、収集情報の扱いが不要になることは別だ。
限界：一般施設で使える姿勢センサーには、まだ距離がある
SoundMHPEの成果は、複数人の音響信号の重なりを扱うモデルと、評価用データを示した点にある。次の点は、今回の公開資料では導入を判断する根拠が足りない。
- 人数と対象者の範囲。 1〜3人、15人の被験者による結果であり、混雑した施設や、異なる身体条件へそのまま外挿できない。
- 設置環境の広さ。 間仕切りを使う追加試験はあるが、部屋・雑音・反射条件を広く変えた定量的な性能保証ではない。
- 後段の用途。 姿勢誤差の改善だけでは、転倒検出などの見落とし率や誤警報率は分からない。必要な動作を識別できるかは、別途評価する必要がある。
- 再現と運用。 論文には学習設定がある一方、本稿では配布コード・重み・データの取得や実行を確認していない。機器を購入すれば同じ結果が出るとは言えない。
著者らも、複数の実験環境での評価と、頑健性・汎化能力の改善を今後の課題としている。［1：6節］
日本の屋内計測へこの研究をつなぐなら、最初の成果物は「音だけで何でも測る装置」よりも、特定の部屋と少人数の動作に対して、精度と遅延を説明できる試験系になるだろう。SoundMHPEから学べるのは、音響入力を時間と周波数で分け、出力を人物と時刻で分ける設計だ。その構造を生かしながら、部屋の変更にどこまで耐えられるかを確かめることが、現場へ進む次の作業になる。
参考リンク
［1］Yusuke Oumi, Yuto Shibata, Go Irie, Akisato Kimura, Yoshimitsu Aoki, Mariko Isogawa — Sound-based Multi-Person 3D Pose Estimation（arXiv v1、2026年9月4日、ECCV 2026採択）
同論文のHTML全文（本稿の機構説明・表・図は、CC BY 4.0の同論文を基に日本語で要約・再構成し、筆者の考察を加えたもの）
［2］NTT：コンピュータビジョン分野における最高峰国際会議ECCV2026にNTT研究所から4件の論文が採択（2026年9月11日）
原論文のライセンス：Creative Commons Attribution 4.0 International