はじめに
2023年5月25日(木)から5月28日(日)にかけてPAKDD2023が大阪で開催されました。PAKDDは、データマイニングを主とした国際会議です。この記事では、個人的に注目した発表についてポイントを整理し、読んでいただいた方に雰囲気を掴んでいただくことを目指します。
- PAKDD2023
https://pakdd2023.org/ - プログラム
https://pakdd2023.org/program/ - 会議の様子（同僚執筆のQiita記事）
国際会議PAKDD2023に聴講参加してきました
チュートリアル
Moving Beyond Traditional Anomaly Detection
- 要約：2022年くらいまでの異常検知技術を整理したチュートリアル
- ポイント：
Shallowモデル(kNN、LOF、ヒストグラムベース、PCA、iForest)とDeepモデル（AE、GAN、予測誤差モデル、自己教師あり、metric-learning、クラスター学習、ランキングモデル、事前処理駆動型モデル、SSIM-AE、Grad-CAM、attentionモデル）についてそれぞれ説明した後、異常検知の将来のキーワードとして、ドメイン特化、弱教師、大規模教師なし、マルチモーダル、解釈性、アプリケーションを挙げた - 参考：異常検知の有名サーベイ論文[参考1]を中心に解説（モデルの多くは[参考2]にコード付きでまとめられている）
ワークショップ
本年は一件のみの開催（https://pakdd2023.org/pw/）
First International Workshop on Temporal Analytics
- 全体：時系列マイニングはウィンドウ幅のソフト化と文脈取得の工夫が大きな課題
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting（Zheng Sun, Yi Wei, Wenxiao Jia and Long Yu）
- 背景：時系列データは、各イベントの各要素が異なる時間幅のトランザクションを予測に要求するため、予測が困難となる場合がある
- ポイント：短期と長期の時系列の段階的な反映を目指し、1段階先を予測するごとに、自己教師とフォワードブロック全体をグラフ畳み込みした層を積み上げる
- 結果：SOTAに「ある条件で匹敵」水準
- メモ：
- 抽出に関しては、十分な時空間情報を取得するために、半適応グラフを含む効率的な時空間符号化抽出器を設計
- 予測に関しては、異なる区間間の相関を強化するためのカスケード復号化予測器（CDP）を提案
- 論文リンク：https://pakdd2023.org/wp-content/uploads/2023/05/pakdd23_w1_p1.pdf
Transformer-based Conditional Generative Adversarial Network for Multivariate Time Series Generation（Abdellah Madane, Mohamed-Djallel Dilmi, Florent Forest, Hanane Azzag, Mustapha Lebbah and Jérôme Lacaille）
- 背景：時系列は単峰性を仮定できるコンテキストが存在しないことが多く、一つのウィンドウ内に多くのコンテキストが混ざってしまう
- ポイント：CGANのC（クラス）を時系列符号とすることで単峰なコンテキストを与えるトランスフォーマーを構築
- 結果：代表的な手法と比較してある程度有効
- 論文リンク：https://pakdd2023.org/wp-content/uploads/2023/05/pakdd23_w1_p2.pdf
Never a Dull Moment: Distributional Properties as a Baseline for Time-Series Classification（Trent Henderson, Annie G. Bryant and Ben D. Fulcher）
- 背景：極めて単純なモデルはどの程度の結果を出せるのか（複雑なタスクは必要か）
- ポイント：データの順序を無視した2つの単純な特徴（時系列値の平均と標準偏差）を入力とした線形分類器の性能を、128の一変量時系列分類問題に対して評価
- 結果：128中、69の問題で偶然を上回り、2つの問題で100%の精度を達成
- 論文リンク：https://pakdd2023.org/wp-content/uploads/2023/05/pakdd23_w1_p3.pdf
招待講演
The Future of AI: From Unconscious Models to Conscious Reasoning and Emotional Intelligence
- 発表者：
Dr. Edward Y. Chang（Founder/CTO, Ailly Corp. Adjunct Professor, Computer Science, Stanford University） - ポイント：
- BERTとGPTを学習手法の違いから、無意識タスク向きと意識タスク向きと解釈
- 人間の意識に関するメソッドを参考に意識をコンピューティングする方法を模索
Unlocking the Power of Knowledge Graphs through Advanced Representation Learning
-
発表者：
Dr. Wei Wang（Leonard Kleinrock Chair Professor, Department of Computer Science, University of California） -
ポイント：
- グラフで情報を効率的に捉えるために、情報の構造を階層的、周期的などと分類
- 分類ごとに適切な潜在空間(超球やユークリッド空間)を与えることで、性能を向上させる
Measurement Informatics: Interdisciplinary innovation of measurement and information science
-
発表者：
Dr. Takashi Washio（Professor, The Institute of Scientific and Industrial Research (ISIR: SANKEN), Osaka University） -
ポイント：
- 計測情報学における機械学習手法を用いたアプローチを解説
- キャリブレーションや計算コストなどの課題に対して、比較的シンプルなノイズ軽減や超解像の手法を活用し、実応用に耐えられるまでにチューニングする流れを解説
セッション
いくつかのセッションについて概要を記載いたします。各セッションに適用性、革新性、厳密性の印象値を記載しています。詳細は[参考3]をご確認ください。
Reinforcement Learning
・適用性：★★☆☆☆(2/5)
・革新性：★★★☆☆(3/5)
・厳密性：★★☆☆☆(2/5)
強化学習とその応用に関連するセッションです。信号制御における移動時間の短縮、投資戦略における効率的なポートフォリオの構築、意思決定過程の改善、ゲーム理論の安定化、そして交渉エージェントフレームワークの強化に向けた手法が提案されました。強化学習の概念を現実世界の問題に適用することで、新たな解決策を模索します。メタ学習の利用、行動空間の分解、報酬成形のダイナミックなアプローチ、ポリシー更新の正則化、そして転移学習の応用といった手法が駆使され、それぞれの目標達成に対する新たな道筋が提示されました。強化学習はモデルが複雑で適用ハードルがまだまだ高く、現実世界の課題について一定以上理想化された中で改善を示すことが多い印象を受けました。
Probabilistic Models and Clustering
・適用性：★★★☆☆(3/5)
・革新性：★★★☆☆(3/5)
・厳密性：★★★★☆(4/5)
このセッションでは、カーネルや確率分布を活用した新たな手法に焦点を当てていました。分離カーネルを用いたクラスタリングの可視化の向上、ベイジアンツリーを用いた予測精度の改善、マルコフチェインを利用した打ち切り遷移データからのパラメータ推定、及びテキストと画像の適切な組み合わせ生成に関する新しいアプローチなどが提案されました。多様なデータの扱いや、知識抽出の改善に対する新たなパラダイムを示すセッションでした。比較的軽量なモデルが扱われているからか、実験バリエーションも比較的多く、着実な新規性を感じさせる発表が多かった印象です。
Explainability and Fairness
・適用性：★★★★☆(4/5)
・革新性：★★★★★(5/5)
・厳密性：★★★☆☆(3/5)
このセッションでは、AIシステムの解釈性と公平性の向上に焦点を当てています。ユーザーとのインタラクションに適切な間隔を空ける手法の開発、効率的でロバストな反実仮想説明フレームワークの開発、ブラックボックスを解釈可能に近づけるモデルの提案、学習順序の公正性確保、そして公平な顔の属性分類の実現といった具体的な目標が設定されました。AIの性能と効率性を向上させるための新たな手法を提案しており、AIの公正性と透明性の問題に取り組んでいました。いくつかの発表で、なるほどと思わされる発表があったため、高めの印象値を設定しました。解釈性や公平性は、精度とトレードオフの印象でしたが、ユーザビリティを向上させる方向性も存在するという気づきがありました。
Anomaly and Outlier Detection
・適用性：★★★☆☆(3/5)
・革新性：★★☆☆☆(2/5)
・厳密性：★★☆☆☆(2/5)
異常検知をテーマにしたセッションです。公平なグループ分けを達成するための反実仮想データ生成を活用する手法、敵対的な例に対処する決定境界付近に注目した新しい試験方法、リカレンスプロットとスムージングを組み合わせた時系列異常検知モデルの構築、そしてIoTの多変量時系列データに対してWasserstein距離と勾配を活用した異常検出モデルの提案などが行われていました。公平性の向上と敵対的攻撃への対抗策、高度な時系列分析と複雑なネットワーク環境など、異常検知技術に関する注目テーマが中心に扱われた印象です。異常検知モデルは教師なしや半教師の問題設定で貢献を正しく検証する箇所にハードルがあるため、相対的に印象値が低くならざるを得ないという印象でした。
参考
- Ruff, L., Kauffmann, J.R., Vandermeulen, R.A., Montavon, G., Samek, W., Kloft, M., Dietterich, T.G. and Müller, K.R., 2021. A unifying review of deep and shallow anomaly detection. Proceedings of the IEEE, 109(5), pp.756-795.
- 異常検知入門と手法まとめhttps://qiita.com/toucan/items/c3343de3cfa236df3bda
- https://pakdd2023.org/proceedings/