2019年11月20日(水)~23日(土)に開催されたIBISに初めて参加してきましたので，見たポスターについて自分の感想をここで書いていきたいと思います！私は機械学習についてまだまだ初学者で，勘違いや誤って説明している点が多々あると思いますのでご注意下さい．

ポスター紹介

気になったポスターについて，見たポスターのほんの一部分ですが紹介します(ポスターの写真は取らせて頂いたのですが，upしていいか分からなかったので文章のみとなってます)．

大域的な潜在変数を持つ系列変分自己符号化器による状態遷移モデルのメタ学習

・今，はやりのメタ学習

・時系列を使った未来を予測するモデル(VAE)を使う．(VAEによる系列生成モデルは動画等のモデリングに優れているらしいです，初めて知りました〜)

・各系列につき１つの潜在変数(局所変数)が与えられる

・全ての各系列に新たに潜在変数(大域変数)を与える

・(工夫1)大域変数を加えることで，各系列によって違うマップ(情報)や摩擦係数情報などを与えてくれることを目指したよ！

・ただし，グラフィカルモデル上で大域変数を単純に付け加えたとしても，マップ情報や摩擦係数情報などが勝手に学習されるわけではないので，

・(工夫2)↑が上手くいくように相互情報量による正則化を入れることで，大域変数に意味のある情報が学習されるようにしたよ(大域変数のDisentanglementを助ける効果を期待)

・Disentanglementについては，聞いてたときは理解できてたけど改めて説明しようと思ったら難しくて．断念しました…

・(実験)大域変数ありのVAEモデルで正則化項なし，正則化項あり，10倍の正則化ありで，複数フレーム先の観測を予測する実験を行った結果，10倍の正則化項ありが一番精度が良かったよ(長期の予想ができてたよ)

グラフと近傍グラフの確率的同時埋め込みによるマルチモーダルデータの可視化

・マルチモーダルなデータとは，ドメインが複数あるマルチドメイン，マルチビューと呼ばれるデータのことで，例えば画像やタグがあるようなデータのことをいうらしい．

・グラフ埋め込み：データ間の関係性を表す重み付き隣接行列が既知として，y_iとy_jの内積の大小が隣接行列の要素をよく表現するように特徴ベクトルy_iを学習する手法をここではグラフ埋め込みと呼ぶ．

・問題点：既存のt-SNEでは，種類(ドメイン)によって次元が異なるデータ(マルチビューデータ)は扱えない(=次元削減できない)問題があるようです．しかし，CCAやPMvGEと組み合わせて使うことでマルチビューデータの次元削減は可能になる反面，今度は，データベクトルの相対的な位置情報が埋め込み側に反映されないという問題があるらしいです．

・提案(モデル)：t-SNEにドメイン間の確率分布を導入したよ

・例えば，ここでは画像をCNNに通した特徴ベクトルと画像についたタグ(orラベル)(犬の画像だったら，dogやanimal)のような入力を想定．

・画像のデータベクトルからt-SNEによって，データ分布からデータベクトルの距離によって確率分布を定義してあげる?(ここはあまりイメージがまだできてないところ)

・タグと写像の対応関係のグラフ構造を自然言語のPMI的なのを使って確率分布を定義してあげる．

・PMIについて初耳でしたが，調べてみると自己相互情報量のことらしい

何がしたくて用いる数字なのか？
意味のある共起 = 価値ある共起としたい

つまり、「"私" "は"」のようなありきたりな共起は省いて、「"ビール" "ワイン"」など、単語自体が頻出というわけではない場合の共起ペアの数値を高くしたい。[2]

・そのような画像とタグの確率分布と画像と画像の確率分布をそれぞれt-SNEの確率分布にKL-divergenceを使って近づける???(全然理解できてないポイント，間違ってるかも)

・できるようになったこと＝画像とタグ(ラベル)を同じ空間で可視化できるようになった

・3ドメインデータについても同じように可視化できるらしい

・国立がん研究センターと共同研究しているようなので，医療目的で使うことが本来したいこと？

識別と再構成を行うマルチタスクベクトル量子化AEについて

・目標：中間表現にベクトル量子化とマルチタスク制約を組み合わせることで有用な特徴が得られるのではないか

・いまいちマルチタスク制約については理解できなかった

・ベクトル量子化(VQ)VAEとは，

「自然界の様々な事物は離散的に表現され得る」（言語は離散的ですし, 画像も離散的な言語によって記述され得ます. 生物の潜在変数とも言えるDNAも離散的ですね！）という発想から, 潜在変数を離散値にしたのがVector Quantised-VAE (VQ-VAE) です.[3]

・コードの数(K)は，16, 32, 64, 128, 256, 512を使用

・損失関数はVQ-VAEを参考に，教師あり制約を加えたものを使用した

・教師あり制約とは，教師ありAEモデルの中で使用されている制約で，過学習を抑える効果があるらしい[4]

(実験)
・MNISTで実験

・学習モデルの安定性について，マルチタスクVQ-AEのKの数を変えたときの学習損失曲線は，Kの数が少ないときの方がKの数が多いときに比べて誤差が多い傾向が見られた → Kが小さいほど初期値や学習データによって異なる性能結果になる？

・テスト画像を入力したときの発火する受容野の平均画像数は，Kを大きくするにつれて発火コードの割合が少なくなる傾向があった→Kが増えるにつれて，汎化されてない特徴量が増えたため？

・識別に寄与しているコードは，Kの数が大きくなると割合が減少していく結果となった→識別と再構成に使われる特徴量が分けられていることを示唆してそう？

・中間の特徴量を適当に0埋めしたときの損失(破壊損失)と通常の再構成損失との差を調べた所，Kの数が多いほど損失差が小さくなる傾向が見られた．次に，識別に寄与する特徴がどの程度の再構成に関わるかを調べた所，マルチタスクVQ-AEの特徴量はタスク間で共有されていなかったらしい(ここは，どう実験した結果そう判断したのかイマイチ自分が理解できなかったポイント)

・結果：Kが増えると学習したモデルの性能のばらつきが減る傾向があった．ただ，VQとマルチタスク制約の組み合わせによる有用な特徴はあまり見られなかった．

・今後の展望として，VQ-VAEの誤差関数を殆どそのまま使っているので，これから改造・チューニングしていくそうです．

まとめ

ポスターはかなりたくさん見たのですが，わずか３つのポスターしか整理できませんでした(内容もどれも難しいです…)．ですが，どのポスターも魅力的で自分のモチベーションupにつながったと思います！自分の研究も頑張ります〜！

参考文献

[1] IBISポスター
http://ibisml.org/ibis2019/posters/
[2] PMIについて
https://www.zenknow.tokyo/entry/2018/09/14/085411
[3] 深層生成モデルを巡る旅(2): VAE
https://qiita.com/shionhonda/items/e2cf9fe93ae1034dd771
[4] 教師ありAEのNIPS2018論文
https://papers.nips.cc/paper/7296-supervised-autoencoders-improving-generalization-performance-with-unsupervised-regularizers