A survey on multi-output regression

マルチターゲット回帰について知るために読みました．

0. 論文

A survey on multi-output regression
Hanen Borchani∗1, Gherardo Varando2, Concha Bielza2, and Pedro Larran ̃aga2
1Machine Intelligence Group, Department of Computer Science, Aalborg University, Selma Lagerlo ̈fs Vej 300, 9220, Denmark. 2Computational Intelligence Group, Departamento de Inteligencia Artificial, Facultad de Inform ́atica, Universidad Polit ́ecnica de Madrid, Boadilla del Monte, 28660, Spain.
https://onlinelibrary.wiley.com/doi/full/10.1002/widm.1157?casa_token=GwmV1oZvFjcAAAAA%3Amx8E4VPBrB_f_G82MITPzQZEv-KCWxUDGOAdlYu99goGiWrgQwVm3o0BNNbE4UbgTdu012eOBtuU48mfWA

1. どんなもの？

マルチターゲット回帰に関するサーベイ．

2. 先行研究と比べてどこがすごい？

• 個々にモデルを立てるよりもモデルの合計サイズが小さい．
• 異なるターゲット間の関係を明らかにできる

• 欠損，ノイズ，ターゲット変数間での依存性(dependencies)がある場合，単一ターゲット回帰よりも予測性能が高い．
  ↓

• Latent variable multivariate regression modeling

• Curve prediction with kernel regression

• Real time prediction for converter gas tank levels based on multi-output least square support vector regressor

3. 技術や手法のキモはどこ？

• 問題変換法
  　1. ST法
  　2. MTRS法
  　3. RC法
  　4. MO-SVR
• アルゴリズム適応法
  　1. 統計的方法
  　2. 多出力サポートベクトル回帰
  　3. カーネル法
  　4. マルチターゲット回帰木
  　5. ルール法
  

4. どうやって有効だと検証した？

データ
対戦相手：
評価指標：

5. 議論はある？

データの欠落，ドメインの複雑さによるノイズの存在などの課題にどうやって対処しているか？
統計的方法で制約ランクを置くメリットは？
FIMT-MTメリットは，時系列データに対応できること．なんで？

6. 次に読むべき論文は？

• Multi-Label Classification Methods for Multi-Target Regression 特定の場所で将来48時間の河川ネットワークのフローの予測．衛星画像に使えるかも．
• 時系列データに対応した論文
• Position Preserving Multi-Output Prediction(2013)・・・線形回帰とquantile mappingを組み合わせた論文

単一ターゲット回帰よりも予測性能が高いことを示した論文
* Latent variable multivariate regression modeling
* Curve prediction with kernel regression
* Real time prediction for converter gas tank levels based on multi-output least square support vector regressor

7. メモ

第１章

• マルチターゲット回帰について
  マルチターゲット回帰は，複数の出力/ターゲット変数を同時に予測することを目的としている．ターゲット間の関係を考慮に入れることで，マルチ出力データセットを効果的にモデル化できる．
  出力がバイナリの場合：マルチラベル分類
  出力が離散の場合：多次元分類

• 課題
  データの欠落
  ドメインの複雑さによるノイズの存在
  多変量の性質と，複数の機能/ターゲット変数間の複合依存性(最も重要)

• メリット

  • 計算効率が向上したシンプルなモデルを作成できる．Kocev D, Dˇzeroski S, White MD, Newell GR, Griffioen P. Using single- and multi- target regression trees and ensembles to model a compound index of vegetation condition. Ecol. Model. 2009, 220(8):1159–1168.
  • ターゲット間の関係を考慮に入れることで，マルチ出力データセットを効果的にモデル化できる
  • 良い表現力と解釈可能性を保証できる．
  • 課題にあるような状況だと，単一の出力方法と比較した場合，マルチターゲット回帰の方がより良い予測パフォーマンスを出す．

• マルチターゲット回帰の例

  • 植生の状態，品質から複数のターゲットを予測するエコロジカルモデル[Kocev D, Dˇzeroski S, White MD, Newell GR, Griffioen P. Using single- and multi- target regression trees and ensembles to model a compound index of vegetation condition. Ecol. Model. 2009, 220(8):1159–1168.]
  • 画像データの予測
  • Tuia D, Verrelst J, Alonso L, P ́erez-Cruz F, Camps-Valls G. Multioutput support vector regression for remote sensing biophysical parameter estimation. IEEE Geosci. Remote Sens. Lett. 2011, 8(4):804–808.
  • Kuznar D, Mozina M, BratkoI. Curve prediction with kernel regression. In: Pro- ceedings of the ECML/PKDD 2009 Workshop on Learning from Multi-Label Data, Bled, Slovenia; 2009, 61–68.
  • Han Z, Liu Y, Zhao J, Wang W. Real time prediction for converter gas tank levels based on multi-output least square support vector regressor. Control Eng. Pract. 2012, 20(12):1400–1409.

• マルチターゲット回帰の既存手法は次の２つに分類できる．
  a) 問題変換法(ローカル法)
  単一出力回帰アルゴリズムによる方法
  b) アルゴリズム適応法(グローバル法またはビッグバン法)
  特定の単一出力方法(決定木やサポートベクターマシン)を適応させて，複数出力データを直接処理する方法．
  複数のターゲットを予測するだけでなく，ターゲット間の依存関係をモデル化して解釈することを目的としているため(a)より難しい

• マルチタスク学習問題は，マルチターゲット回帰問題に関連している．
  [20] BaxterJ.ABayesian/informationtheoreticmodeloflearningtolearnviamultiple task sampling. Mach. Learn. 1997, 28(1):7–39.
  [21] Caruana R. Multitask learning. Mach. Learn. 1997, 28(1):41–75.
  [22] Ben-David S, Schuller R. Exploiting task relatedness for multiple task learning. In: Proceedings of the Sixteenth Annual Conference on Learning Theory, Springer Verlag, Washington, DC; 2003, 567–580.
  [23] Jalali A, Sanghavi S, Ruan C, Ravikumar PK. A dirty model for multi-task learning. In: Proceedings of the Advances in Neural Information Processing Systems 23, Vancouver, British Columbia, Canada; 2010, 964–972.
  [24] Marquand AF, Williams SCR, Doyle OM, Rosa, MJ. Full Bayesian multi-task learning for multi-output brain decoding and accommodating missing data. In: Proceedings of the 2014 International Workshop on Pattern Recognition in Neu- roimaging, IEEE Press, Tbingen, Germany; 2014, 1–4.

• マルチタスク学習問題とは
  タスクの関連性のモデリング
  共同学習されたタスク間の類似度の定義
  特徴選択，
  異なったアプローチを使用して，複数のタスクを同時じ学習および予測するための効率的なアルゴリズムの開発．

第2章では，最先端のマルチターゲット回帰をアプローチごとに分類．
第3章では，それぞれのアプローチの理論的比較．
第4章では，評価尺度のついての説明．
第5章では，マルチターゲット回帰の公開データセット．
第6章では，マルチターゲット回帰のオープンソフトウェアについて．
第7章では，結論，要約

第2章

問題変換法

アイデア：マルチターゲット回帰問題を単一ターゲット回帰問題に変換し，各ターゲットの予測結果を連結して求める．
問題点：ターゲット間の関係が無視され，ターゲットが独立して予測することで，全体的な予測の質に影響が出る．
問題の解決方法：[Spyromitros-Xioufis](https://arxiv.org/pdf/1211.6581.pdf)→以下の2つによりターゲット感の依存関係をモデル化することができた．
    (1)multi-target regressor stacking
    (2)regressor chains

• ST法
  リッジ回帰,SVM,回帰木,勾配Boostingをそれぞれ実行 [Spyromitros-Xioufis]

• MTRS法
  2層構造からなる手法．予測値を特徴量として用いる．

• RC法
  アイデア：ターゲット変数のセットの順列を選択し，選択したチェーンの順序に従って各ターゲットの個別の回帰モデルを構築する．
  問題：選択したチェーンに敏感である．
  解決策：異なる順序のチェーンを持つ回帰チェーンモデルのセットを提案

• 多出力サポートベクトル回帰
  すべてのターゲット間の相関を考慮したモデル．
  解決策：シングル出力最小2乗サポートベクトルマシン(Ls-SVR)を使用

アルゴリズム適応法

    メリット：(1) すべての依存関係と内部の関係を捉えることができる．
         (2) すべてのターゲットを同時に予測できる．
     (3) ターゲットに相関関係がある時，予測精度が向上する(https://www.academia.edu/13368742/Using_single-_and_multi-target_regression_trees_and_ensembles_to_model_a_compound_index_of_vegetation_condition),(https://www.stat.berkeley.edu/~breiman/curds-whey-justtext.pdf),(http://www.stat.yale.edu/~lc436/papers/temp/Simila_Tikka_2007.pdf)

• 統計的方法

  • ターゲット変数間の相関を利用する．
  • ランクを下げた回帰(1975)・・・主成分または正準変量のペアの数を決定する問題に関連している．
  • リッジ回帰の多変量バージョンBrown and Zidek(1980)
  • 最も顕著な(prominent)アプローチ : Breiman and Friedmanによって提案されたthe curds and whey (C&W) method(1997)．
  • 最近の提案 : L2-SVSと呼ばれるsimultaneous variable selection (SVS) methodが提案された．
  • 線形回帰とquantile mappingを組み合わせた論文2013・・・残留誤差を最小限に抑えて，変数間の結合関係を捉えることができる．James-Stein推定量の多変量回帰問題の一般化として定義されたフィルター処理された正準y変量回帰（FICYREG）メソッド．

  アイデア：推定された回帰係数の行列に制約ランクを置く．
  ここの章よく読む．

• 多出力サポートベクトル回帰
  アイデア：

  • M-SVR ; 静止点に到達するまで重みWとバイアスパラメータbを繰り返し推定する反復再重み付け最小二乗（IRWLS）手順に基づいている．
  • SVM + MTL ; いくつかの関連する回帰モデル、特に各グループに1つのモデルを学習する．
  • LLT-SVR ; 出力空間をリーマン部分多様体とみなす．幾何学的構造を回帰プロセスに組み込み． メリット：スカラー値よりも計算が簡単で高速

• カーネル法
  アイデア：

  • 様々な種類のスペクトルフィルタリングを使用して，一般にペナルティ化された経験的リスク最小化として解釈されない正則化された行列を定義すること．

• マルチターゲット回帰木(MTRT)
  MRTメリット2つ：

  • single multi-target regression(STRT)よりも合計サイズがはるかに小さい．
  • 異なるターゲット変数間の相関関係をより適切に識別できる

9個論文が提案されている．
1. A NEW TECHNIQUE FOR MODELING SPECIES–ENVIRONMENT RELATIONSHIPS ・・・CARTの拡張． 結果のグループは解釈が容易．純粋なノイズ応答や特徴変数の追加に対してロバスト．変数間の相互作用を自動的に検出し，情報の損失を最小限に抑えて，特徴変数の欠損値を処理する

1. Constraint Based Induction of Multi-objective Regression Trees ・・・解釈可能性と精度をトレードオフの関係にできる．ツリーを帰納的データベースに格納し、さまざまな制約で帰納的クエリに答えるために使用できるという利点がある．
2. MTSMOTI ・・・
3. Using single- and multi- target regression trees and ensembles to model a compound index of vegetation condition ・・・回帰ツリーのバギングとランダムフォレストを考慮．
4. Incremental multi-target model trees for data streams・・・時間変化するデータからの複数の連続ターゲットの同時モデリングを行った．FIMT-MTと呼ばれる手法．
5. Network regression with predictive clustering trees ・・・予測クラスタリングツリーを使用して、ネットワークデータの非定常自己相関をモデル化するNCLUSアルゴリズムを開発した．
6. Leveraging the power of local spatial autocorrelation in geophysical interpolative clustering ・・・多変量の非定常空間自己相関のモデリングの問題に対処した論文．
7. Semi-supervised learning for multi-target regression ・・・マルチターゲット回帰のための半教師付き学習のタスクに対処した論文．

• ルール法
  • FItted Rule Ensemble (FIRE) (あとで読む)

各手法のまとめ

第３章 ディスカッション

• MO-SVRは出力空間の埋め込みの概念に依存する手法．

<埋め込みの利点>
1. 出力スペースのよりコンパクトな表現が実現できる点
2. 不適切な問題の正しい推定が保証される点
3. 予測性能を改善する点．
4. 計算コストを削減できる点

統計的手法
* ST線形回帰の直感的なな拡張．
* ベースラインであるST回帰よしパフォーマンスが顕著に向上する
* 問題点として，出力間の関係が存在していない時，予測パフォーマンスが低下する可能性がある．
* 特に，回帰係数のd×m行列のランクがr <min（d、m）に減少していると仮定した場合，明らかに誤った関係の推定と，情報を失ってしまう．

In particular, if we assume that the d × m matrix of regression coefficients has a reduced rank r < min(d, m), when in reality it posses a full-rank, then we are obviously wrongly estimating the relationship and we lose some information.

MO-SVRの目的
1. 計算の高速化
2. STアプローチと比較するよりスパースな表現の取得
3. STアプローチと同じerror rateを維持

カーネル，MO-SVR，単一出力SVRの問題点
* 入力空間がが変換されるので，モデルの解釈が簡単ではない．

Multi-target regression trees and rule methodsのメリット
* 人間の読める予測モデルを構築する．
* 最も解釈可能なマルチターゲットモデルといえる．
* 特定の出力グループの予測にどの入力変数が重要であるかを示す

第４章 評価指標

第５章 データセット

マルチターゲット回帰の用途は数多くあるが，公開されているデータセットはごくわずかです．
表2に公開されているデータセットを公開しました．
Instances:データの行数だと思われる
Features:特徴量の数
Targets：ターゲットの数

• Solar Flare
  ソーラーフレアが24時間に発生する頻度を予測するためのデータセット．

• Water Quality
  河川の水質の生物学的パラメーターから化学物質を推定するためのデータセット

• OES97,OES104
  米国労働統計局が1997年（OES97）および2010年（OES10）に編集した年次職業雇用調査から収集されたデータ

• ATP1d,ATP7d4
  行が数日間にわたる時系列の観測のシーケンスである航空券の価格のデータセット.説明変数は，フライトに関する詳細（価格、ストップ、出発日など），目的変数は，6つのフライト設定（つまり、任意の数のストップを持つ任意の航空会社、直行便のみ、デルタ航空、コンチネンタル航空、エアトラン航空、ユナイテッド航空）

• RF1,RF24
  河川フロードメインは、特定の場所で将来48時間の河川ネットワークのフローの予測をテストするために設計された時間予測課題.米国国立気象局から取得され、2011年9月から2012年9月までの米国ミシシッピ川ネットワークの8地点の1時間ごとの流量観測値を含む．それぞれ，64,576の特徴量がある．

• EDM
  加工パラメータの観測値の平均値と偏差を表す16個の入力変数を使用して、ギャップ制御とフロー制御の2つのターゲット変数を予測する

上記のデータセットはここからダウンロードできる

• Polymer
  ポリマーテストプラントデータセット.
  10個の入力変数(温度、供給速度など)．4個のターゲット変数．

• Forestry-Kras
  西スロベニアのクラス地域の林分高さと林冠被覆を予測するためのデータセット．
  2個のターゲット変数(植生の高さとキャノピーカバー)とLandsat衛星画像データから派生した160の入力変数を含む．

• Soil quality
  農業対策から土壌品質を予測するためのデータセット．3個のターゲット変数(アカリとコレンボランの豊富さ、シャノン-ウィーナーの生物多様性)，142個が農業対策を含む入力変数（植えられた作物、梱包、耕作、肥料、農薬使用など)．

第６章 オープンソフトウェアフレームワーク

マルチターゲット回帰アルゴリズムの利用可能な実装の簡単な概要

第７章 まとめ

future work
提示された異なるアプローチの比較実験研究を実行する
複数のターゲット変数間の関係をモデル化する方法に基づいてグループ化する