はじめに
元々信号処理分野を大学・大学院で勉強していて、機械学習やデータ分析を仕事で行っています。
信号処理やデータ分析に関する記事が溜まってきたのでまとめ記事を作成しておこうと思い立ち記事を書いておきます。
信号処理分野とデータ分析の類似点や、信号処理的なモデリングの観点から見たデータ分析について説明をし、そのうえで記事のリンクを紹介しようかと思います。
信号処理とデータ分析は、「データから構造を抽出する」という点では共通の問題を扱っている。
本記事では、信号処理的な視点からデータ分析を捉え直し、両者の共通点を整理したうえで、関連する記事をまとめる。
信号処理とデータ分析の類似点
手法の共通点
信号処理とデータ分析には、類似点が多々あります。
言葉が違うだけで同じ概念を良く扱います。
互いの手法を行き来する事もよくあり、
信号処理のノイズ除去で、PCAを使用したする事もありますし、
周期性のデータ分析でフーリエ変換を使う事もあるかと思います。
このあたり共通しているので、どの手法がどの分野に属すると定義しづらい場合もあるかと思います。
カルマンフィルタは、統計の分野でもよく使われている認識です。
- 信号処理とデータ分析の概念と具体的な技術の比較
これらの手法は分野ごとに名前は異なるが、
多くの場合「類似度の定義」「構造の抽出」「ノイズの分離」という共通の枠組みで整理することができる。
| 観点 | 信号処理 | データ解析 |
|---|---|---|
| 類似度 | 相互相関・内積 | 距離・コサイン類似度 |
| 構造抽出 | スペクトル解析 | PCA・クラスタリング |
| ノイズ処理 | フィルタ | 外れ値除去・平滑化 |
モデリングという共通点
自分の専門の話になるのですが、信号処理では、観測された信号の背後にある物理現象をモデル化し、そのパラメータを推定した上で、閾値判定などにより状態を識別することが、行われることがあります。
学生の頃の研究では、モデルのパラメータが理想的にはどう出るか、シミュレーションを使って検討していました。
社会学でも、個々の振る舞いをモデル化し、シミュレーションを行い、パラメータを通じて全体の構造を理解する試みを行うことがあります。
自分は、日本の世帯構造の予測を行うシミュレーション行っていた経験もありますが、社会学において、モデル化やシミュレーションによる、パラメータの考察も行われています。
このように、信号処理と社会シミュレーションは対象こそ異なるものの、
「モデルを構築し、パラメータを通じて構造を理解する」という点で
共通の枠組みで捉えることができる。
- モデル化における言葉の対比
| 信号処理 | 社会シミュレーション |
|---|---|
| 信号 | 個人の状態 |
| ノイズ | ランダム性・外乱 |
| フィルタ | 相互作用ルール |
| 閾値判定 | 意思決定・意見変化 |
書いている記事
-
データ分析系
実データを中心に、特徴抽出や因果関係の理解を試みた記事- 過学習しそうな特徴量をnanにしたら精度が上がった話:選択的欠損化
- 新しい周期性解析手法を使った気温差の解析をしてみた
- パターン抽出で暑い日が続く回数が多いか計算してみた
- 新しいパターン抽出手法が分散表現に向かない理由
- 提案するパターン抽出手法は、ECサイト再訪行動を捉えられるか:シミュレーションによる検討
- 生活リズムは定量化できるのか?指標を立ててみた
- 因果推論の勉強を始めたので、相関と回帰係数の意味の違いを出してみた
- データ解析にシステムズエンジニアリングを取り入れよう:データセンタの異常検知を例にとって
- まとめ記事の引用はすべきなのか?Causal Impactを使って検証してみた:回遊率1.3%→4.2%への向上
-
信号処理系
信号から情報を抽出するための基礎技術や応用例 -
シミュレーション系
モデルを構築し、挙動や構造を検討するための記事(まとめを作成しています) -
自分の特許系
信号処理、データ分析に関する特許を取得しており、その記事も書いています。データ分析の記事でも下記の手法を使用しています。- パターン抽出と通信多重化の特許の実装を公開しました
- 新しい相関計算方法の提案(特許の内容の数学的にまとめたもの)
- 20並列の通信を1本の配線に重畳。NoCの常識を変える可能性のあるbedcmm技術を共に形にしませんか?
- LLMで自分の特許アルゴリズムを実装してくれるか確かめてみた― 周期性解析手法とプロンプト設計の話
- 同期回路を簡略化できる通信多重化方式を回路目線で整理した検討記録
- ピッチ検出アルゴリズムpYINに特許技術で挑戦してみた:歌声と環境ノイズの対応
- やさしく歌うとなぜカラオケの点数が下がるのか、工学的視点から考えてみた
- スパイクノイズでも崩れにくいピッチ検出を試してみた:pYINとの比較
- 外れ値に強い周期性解析を欠損値対応してみた(nanperiodicity)
- 周期性でデータ同士を比較する:cross-periodicityを実装した
- 周期性成分抽出による周波数推定精度の安定性向上
- 周期性解析ベースのピッチ検出にベイズ推定とViterbiを適用してみた話