前書き

はじめまして、株式会社オプトに努めている Melvin Charles DY です。本日（2020年12月7日）から、NeurIPS学会にリモート参加をします。会社に役立ちそう、または個人的に興味を持った論文・プレゼン・発表などの第一印象について書かせていただきます。

自然言語処理系のプロジェクトに携わっているが、私はまだAI/ML/NLPのエキスパートではないので、お手柔らかにお願いします。

金曜日まで、一日に数回この記事を更新する予定です。速報でもあるし、レビューを通してないので、変な日本語とかがあったら大目に見て頂ければと思います。
追記: 2020-12-14週、業務にて時間の余裕ができたので、このレポートは引き続き更新する予定です。

※　今年のNeurIPSは一応カナダのバンクーバーから開催されているが、私は東京から聴講するので、下記の日付は日本標準時ベースです。日付は記載日で、一部は発表日と異なります。
※人名は、<名前> <苗字>の順になっています。

2020-12-07 (月)

##BEYOND AUTOML: AI AUTOMATION & SCALING (Expo Demonstration) 【AutoMLの先へ：AIの自動化と規模拡張】
(IBM) Lisa Amini, Nitin Gupta, Pari Ram, Kiran Kate, Bhanu Vinzamuri, Nathalie Baracaldo Angel, Martin Korytak, Daniel K Weidele, Elisabeta Gace

自社適応性: 3/5
期待インパクト性： 3/5
個人興味度: 2/5

IBM の AutoAI のデモンストレーション、説明。AutoML なので、データさえあれば、実装を考えずに複数のパイプラインの作成ができるようになります。　他の AutoML パッケージ・サービスはまだ見てないので、差別化のポイントは分かりませんが、とりあえずパイプラインのエンドツーエンドは簡単にできそうです。

Federated learning が統括できるライブラリーは面白そうです。 Federated learningでは、ローデータを送信せずに分散した機械学習ができるので、プライバシー保護法や規則に抵触せずに、複数の個人・組織の協力的な機械学習ができそうです。これによって、参加者に協力の意志があれば、データの統合しなくても、データセットが拡張ができるし、モデルのパフォーマンスも上昇するでしょう。

SCALING DATA LABELING WITH MACHINE LEARNING (Expo Talk Panel) 【機械学習でのデータアノテーションの拡張】

(Scale AI) Yuri Maruyama, Felix Lau, Nishant Subramani

自社適応性: 4/5
期待インパクト性： 3/5
個人興味度: 3/5

画像アノテーションにおいていくつかの問題に着目し、その対策方法をいくつかピックアップしました。特に、一遍に作ったデータセットではなく、定期的に新しいデータでモデルを更新（再学習）させる場合の難しさが分かりました。

その他、Scale AI Platform のアノテーション段階にての半自動化機能が興味深いです。Superpixelで似たピクセルをグループにして、GUIでの選択を加速させたり、Quality Assurance (Linting)でタグし損ねたそうなものやバウンディングボックスがズレたようなケースに注意を立てたり、機械学習のパフォーマンス向上させるためにアノテーションプロセスを補助しています。

ACCELERATING DEEP LEARNING FOR ENTERTAINMENT WITH SONY'S NEURAL NETWORK LIBRARIES AND CONSOLE (Expo Demonstration)　【ソニーのニューラルネットワークライブラリとコンソールで、エンターテインメントのための深層学習の加速】

(Sony Research Center) Takuya Narihira, Akio Hayakawa, Andrew Shin, Yoshiyuki Kobayashi, Kazumi Aoyama, Akira Nakamura, Kosuke Aoki

自社適応性: 2/5
期待インパクト性： 4/5
個人興味度: 4/5

応用のケーススタディがプレゼンの大部分だった（印象が残った）んですが、前半のほうはソニーのニューラルネットワークのオープンソースライブラリーと機械学習コンソール（サービス）の話でした。

動画・音楽・画像の作成や加工に使われているソニー独自技術をいくつか紹介されました。さすがエンターテインメントの大御所とも言えますが、応用の分野と学習のスケールは、弊社には大きすぎる漢字です。とはいえ、エンターテインメントのコンシューマーとして、「こんなことをやっているんだ」と思いながら聴講していました。

ポイント: 動画の自動彩色、音楽から各楽器とボーカルの抽出、CPUとGPUのメモリーをまたがった機会学習。

NEW CHALLENGES IN USER-GENERATED CONTENT (Expo Workshop)【ユーザー生成コンテンツにての新しいチャレンジ】

(Alibaba Group) Yaliang Li, Bolin Ding, Jinyang Gao, Shuonan Zhang + 各論文・発表の著者

自社適応性: 2/5
期待インパクト性： 3/5
個人興味度: 3/5

一つのセッションの中に複数のプレゼンテーションがあったので、一つのスコア・感想にまとめるのは難しいです。なので、興味深いポイントを書かせていただきます。

E-Commerceサイトにて、ユーザーが質問すると、他のユーザーから返信が来るのは遅い（数時間も）。そのせいで、コンバージョンは結局成立しません（買うのをやめてしまいます）。そこで、適切（購買履歴があった）なユーザーにその質問を寄せて、回答してもらいやすくなります。リスポンス率は高くなるし、待ち時間も短くなります。
画像+テキストを用いた(multimodal)固有表現抽出。
プライバシーを保ちながらuser-generated data (content ではなく、センサーデータやアプリによるメトリクス)を収集。特定な人の情報を漏らさずに、データセットにおいてユニークな値をごまかす（「ぼかす」）必要があります。一つの方法が紹介されました。

There and Back Again: A Tale of Slopes and Expectations (Tutorial)　【あそこへ、そして折り返す。期待と傾きの物語】

Marc Deisenroth (University College London), Cheng Soon Ong (CSIRO, Australian National University)

自社適応性: 1/5
期待インパクト性： 2/5
個人興味度: 1/5

理解するための数学知識は足りなくて、途中であきらめました。ただし、見た部分からすると、数学関数の簡易化に使える技法についての話でした。機械学習に使う数学関数の簡易化ができたら、学習も実行も早くなります。かなりニッチな話で、弊社のこの時点でのニーズには合わないと思うが、既存の機械学習パイプラインを根本的なところから改善したい方たちには興味深いでしょう。

2020-12-08 (火)

You Can’t Escape Hyperparameters and Latent Variables: Machine Learning as a Software Engineering Enterprise (Invited Talk)　【ハイパーパラメータや潜在変数からは逃げられない。機械学習をソフトウェア開発事業として考える】

Charles Lee Isbell, Jr. (Georgia Tech)

自社適応性: 2*/5
期待インパクト性： 3*/5
個人興味度: 5/5

メイン部分は、映画『クリスマス・キャロル』のイメージを真似した、多くのインタビューを編集された動画でした。ユーモアのあるフレームワークの上に、AI/ML業界においてのソーシャル・倫理的な問題が言及されました。話の舞台はアメリカだとは言って、他所のことではないと考えてもらいたいのです。

自社適応性 2 と期待インパクト性 3 と書いてありますが、それは現時点での重要性とすぐのインパクト性を考慮した採点です。個人的に、こういう倫理についての話はすきで、話中の数多い問題に危機感を持っているので、気持ち的には両方 5 にしたいのです。

以下は、動画に語られたポイントをパラフレーズさせていただきました。

現状、世の中に出ているAI/MLを用いたサービスや商品にはバイアス（偏見）があります。それは、アルゴリズムなどの問題より、データセットの問題なのではありませんか？　機械学習の研究者として、もっと集中すべきことはあるのではませんか？

AI/MLが徐々に各応用に採用されている今からこそ、データによる偏見を考えるべきです。機械学習の術者である私たちから始まらないと、色々手遅れになります。バイアスによって、人の健康・自由・経済的な状況に悪影響を及ぼしたAIの実例は多くなっています。

確かに、データセットが倫理的に取得されたなのか、十分なダイバーシティがあるのか、悪い「くせ」がないのか、全部やるのは難しいです。ただし、難しいだから目を背けるのはダメです。各社・各校・各研究所に倫理委員会の設立をするまでしなくても、各エンジニアにはAI/MLにまつわる倫理的な問題の意識、そしてその影響を考えて、責任を持ちながら行動をとるべきです。

Where Neuroscience Meets AI (And what it means for the future) (Tutorial)　【神経学習とAIの共通点】

Jane Wang (DeepMind), Adam Marblestone (DeepMind), Kevin Miller (Schmidt Futures)

自社適応性: 1/5
期待インパクト性： 2/5
個人興味度: 4/5

このセッションには3パートがありました。

パート１：認知神経科学の簡単な説明。脳の部位には担当している機能がある、という話でした。

パート２：Computational Cognitive Neuroscience (計算認知神経科学)が進行している、という話。

Multilayer convolutional nets (既知), Differentiable Neural Dictionary, Neural Episodic Control
脳みそは機械学習に使われるアルゴリズムを実装しているところ、電路レベルで解析できますか？
- はい、強化学習なら（割とシンプルなケースだが）。
- 鳴鳥が歌を覚える過程は、強化学習のフィードバックループなど、神経の電路レベルで説明できました。ただし、機械学習の強化学習と違って、報酬は一枚岩的ではありません。

パート３：ニューラルネットワークと神経科学の交差点において、最近のトレンド

深層ニューラルネットワークから、生物学的リアリズムへ
- 深層ニューラルネットワークと違って：
- なぜそうする必要があるの？
  - 局所最適点を脱出できるようにするために
  - 不確定要素の多い状況下での問題解決や状況分解など、脳みそが得意としていることをもっとうまく真似するために
  - リアルワールドの問題をもっと解決できるようになるために
  - 生体系がどういう問題を解決しようとしているのかを理解するヒントを得るために

Deep Conversational AI (Tutorial)　【ディープ会話用AI】

Pascale N Fung (HKUST), Yun-Nung (Vivian) Chen (National Taiwan University), Zhaojiang Lin (HKUST), Andrea Madotto (HKUST)

自社適応性: 1/5
期待インパクト性： 4/5
個人興味度: 5/5

≪個人コメント≫ 孤独・憂鬱・social anxietyなど様々な精神問題は、すぐにでも社会・国家レベルで対処するべきだ、と強く思っています。私の夢でもある、精神カウンセリングができるボットを作るのには欠かせない技術の話なので、当然、個人興味度マックスです。

会話ができるAIを作るときの問題定義と最新の対処法が紹介されたセッションでした。

特に印象が残ったのは、「Adapter-Bot: All-in-one Controllable Conversational Model (Lin & Madotto et al., 2020)」でした。複数のスキル（天気情報や映画のオススメなど）と12種の返事スタイル（ポジ・ネガ、など）に、パーソナライズかつ共感性を考慮した生成を持ち合わせた、まさにオールインワンのモデルだと見受けます。パフォーマンスはどうなっているかまだ確認していないが、ここからの進展は楽しみにしています。

2020-12-09 (水)

Beyond Accuracy: Grounding Evaluation Metrics for Human-Machine Learning Systems

(Tutorial) 【正確さの先へ：人間の行動から学ぶ機会学習システムの評価メトリクスの根拠づけ】
Praveen Chandar (Spotify), Fernando Diaz (Google), Brian St. Thomas (Spotify)

自社適応性: 4/5
期待インパクト性： 3/5
個人興味度: 4/5

≪個人コメント≫広告代理店の従業員として、CTRと言うメトリクで色々比較・計測していますが、ユーザー（消費者）のニーズが応えられているかどうかを知る術はそれだけではないと、再度意識させていただきました。

AI界隈では、Precision, Recall, Accuracy などのようなメトリクスでパフォーマンスを測ることが多いが、それは必ずユーザーの満足度につながるとは限りません。

多くのテストは、最終的に使われるタスクは考慮していません。もちろん、そういうコンポーネントレベルのテストも大事なんですが、ユーザーの満足度を考慮したテストはもっとやるべきだと、主張しました。

複数のレベル（アイテム < ページ < セッション < インターセッション < 長期）から見た、ユーザーの行動モデルと該当な測り方につながるアイディアが数多く紹介されました。

Robustness, Verification, Privacy: Addressing Machine Learning Adversaries (Invited Talk) 【堅牢性、立証、プライバシー。機械学習の「敵」の対処について】

Shafi Goldwasser (Simons Institute for the Theory of Computing, UC Berkeley)

自社適応性: 1/5
期待インパクト性： 3/5
個人興味度: 3/5

暗号法の視点から、機械学習の作品（アルゴリズム、モデル、など）の確認・立証。
背景：この数年間、科学や公共施設に対する不信感が増してきました。立証に関する様々な問題があります：アルゴリズムを作ったのはだれだ？　だれが確認しているの？　など。
今回の話は、MLアルゴリズムの機能性は、どうやって正式的に立証できるんですか？
- 非対称暗号法の原理を用いて、学習者（訓練中・検証を受ける側）と確認者（学習者と答え合わせする側）を定める。確認者のほうの計算コストは低い、学習者の計算コストは高い。
- 100％の正解は無理であろうとしても、最適解に近い結果であれば、機能性は立証されます。
暗号法の視点から、個人のプライバシーを尊重しながら、データの共有はできますか？そして、スケールするソリューションはありますか？
Secure large-scale genome-wide association studies using homomorphic encryption. (Blatt, et. al, PNAS 2020) のキーリザルト。
- Multiparty Computation の各参加者が持っているデータを暗号化し、共有する。暗号化されたデータで計算処理をする。結果だけは復号されます。
- 前の結果に比べて、上記の手法の精度は落ちなかったし、「スケールしない」という予言も覆しました。
暗号法の視点から、機械学習で作られたモデルにの入力が、訓練データと「敵対的に」違った場合の堅牢性(robustness)を確認する方法。
- MLに「敵対的」（adversarial）な入力で、不正解を引き出したりする研究などがあります。これで各種のアルゴリズムの脆性は示せて、改善が必要ということが分かります。
- 現在のアプローチは、事前に決まった「普段と違うデータ」に対する堅牢性を試す、という手法が主流。（例えば、CVシステムに回転された画像が入力された場合を確認したりする）
- 暗号法の専門家たちは、「相手がどういう手法で攻めてくるのか」を決めずに対処法を考えるのは得意としています。
- 攻略手法に依存しない、堅牢性の検証方法の研究： Beyond Perturbations: Learning guarantees with arbitrary adversarial test examples (Goldwasser, et al., NeurIPS 2020)

2020-12-10 (木)

The Real AI Revolution (Invited Talk -- Posner Lecture) 【真のAI革命】

Chris Bishop (Microsoft Research Lab Cambridge)

自社適応性: 1/5
期待インパクト性： 3/5
個人興味度: 5/5

For the last 40 years we have programmed computers, for the next 40 years we will train them.　（この40年間、私たちはコンピューターをプログラムしていたが、これからの40年間には、私たちはコンピューターを学習させるのです。）

ケーススタディー：ホログラムでデータを記憶させる試み。Proof-of-conceptは何年前にもあったが、コストが高くて普及は難しいと判断されました。もっと低コストの素材・装置を使えばパフォーマンスは落ちます。そこで、feedforward convolutional network を使って、低コスト素材による不確定要素を調和し、データの記録と復号に成功しました。

（他のケーススタディー：3D CTスキャンの自動セグメンテーション（臓器や組織の区別）、T 細胞を用いてコロナウイルスの感染を検知する仕組み）

ルイ・パストゥール氏から学ぼう。　AI/ML 関係者に訴える：
基礎研究より、応用研究より、応用にインスパイアされた基礎研究をやっていきましょう。

Explaining Machine Learning Predictions: State-of-the-art, Challenges, and Opportunities (Tutorial) 【機会学習による予測の説明。その最先端と難点と機会】

Himabindu Lakkaraju (Harvard), Julius Adebayo (MIT), Sameer Singh (UC Irvine)

自社適応性: 3/5
期待インパクト性： 4/5
個人興味度: 3/5

≪個人コメント≫：「ビッグデータだから、AIだから正しい」という考え方は間違っています。AIに対する反感・不安を解消するのには、説明性は欠かせません。システムが人の健康・自由・人生に大きい影響があるほど、この重要性が高まります。これからのAIの正しい普及には、新しいアルゴリズムやより強力なハードウェアより、各ステークホルダーを納得させることが重要になるでしょう。

機械学習されたモデルから得た予測は、どうやって説明できるんですか？　このセッションにはその手法が多く紹介されました。録画などは explainml-tutorial.github.io　にてアクセス可能です。

機械学習のモデルの説明性は重要です。テストデータに対する正確さだけを見ていると、間違った要素で判断していたり、変な癖（バイアス・コーナーケースを含む）はあったりします。説明しようとするプロセスにて、下記のベネフィットがあります：

デバッグしやすくする
バイアスを見つけやすくする
モデルの予測結果によって不利になる方たちにとって、その予測を覆るヒントを与えるため
- 例えば、AIでローンの申請が拒まれた方に、収入が足りないとかクレカの支払いを3か月間遅延せず支払いするように、というアドバイスができるようにする
決断をするときに、モデルの予測を信じるかどうかのインフォメーションになる
- 例えば、特定のグループに対して関係ない要素に反応していれば、もう少し調べてから決断したほうがいいということが分かります
リアルワールドに使えるかどうかを判断するための検証にもなる

自分が担当しているAI/MLのプロジェクトをどう説明すればいいかと悩んでいる方々、まずはこのチュートリアルを聴講してみてください。

#2020-12-11 (金)

A Future of Work for the Invisible Workers in A.I. (Invited Talk) 【AIの「透明労働者」の仕事の将来】

Saiph Savage

自社適応性: 2/5
期待インパクト性： 2/5
個人興味度: 4/5

多くのAIの裏にいる「透明労働者」に着目したソリューションの設計と調査の結果のトークでした。既存のプラットフォームに、効率アップのアドバイスを共有できるシステムを一時的に導入し、その結果、新人のHIT（Human Intelligence Task）労働者の成長を促し、短時間にスピードも正確さもアップしました。アドバイスの共有仕組みに何かしらの強化学習が使われているといいましたが、詳細は話に出ませんでした。

その他に、公民の活動を促すために集団行動のきっかけを作るシステムの話もありました。

≪個人コメント≫：なぜかスタートアップのピッチを受けている気がしました（笑）。正直、話の内容は私の期待と違いました。労働者のスキルアップは素晴らしいことだと思いながら、根本的な解決になってないと思います。Micro-job業界と依存している各業界（アカデミアを含む）は、HIT労働者を平等な目で見ない限り、賃金は上がりません。話中にあった賃金が上がったケースも、あくまで実験に協力した方たちだけで、全体の賃金体系の低さは変わりません。

2020-12-15 (火)

The Genomic Bottleneck: A Lesson from Biology (Invited Talk) 【ゲノム的ボトルネック。生態からの学び】

Anthony M Zador

自社適応性: 1/5
期待インパクト性： 4/5
個人興味度: 4/5

「人間の学習能力は、他の動物（例えば霊長類とか）とそこまでかけ離れていないが、プライアー(prior, 事前から持ったもの)が良かっただけです」と言う、論争の的になりそうな説でインスパイアされた研究とその結果発表でした。

馬は生まれてから数分に立てるようになったり、クモが孵化してからほぼすぐに狩ることができたりします。そのノウハウは、「学習」したと思えません。ということは、脳自体には先天的な構図があり、そして、その構図を作ったのはDNAの集合体であるゲノムです。

どの動物のゲノムを見ても、脳の「回路図」を表現できるほどの容量がありません。特に人間の場合、脳のシナプスの数はゲノムの容量の100万倍も上回っています。ですが、多くの動物は生まれた時点で、または短時間に、様々な行動ができるようになります。ということは、何かしらの「圧縮」が行われていると見受けます。

それに連れて、脳の模型であるニューラルネットワークには、同じ圧縮は掛けられるでしょうか。この圧縮されるポイントは、「genomic bottleneck」(ゲノム的ボトルネック) と称されています。

研究者は、MNISTというデータセットに学習させたニューラルネットワークに圧縮アルゴリズムをかけてから、新しいニューラルネットワークに展開し、再学習せずにパフォーマンスを測りました。圧縮率が高くなるほど、ロスは大きくなりますが、324倍で圧縮してもパフォーマンスは 0.94で、1055倍の圧縮率では 0.79 と言う以外にも高いスタートポイントが出来ました。

上記の圧縮されたMNIST（モノクロ手書き英数字データセット）学習済みモデルを、FMNIST（衣類やファッション小物のモノクロデータセット）に当てたら、10エポック学習させても、ランダム初期化されたネットワークより遅れを取っていました。ということは、今回のプライアーは汎用化はしませんでした。

ですが、もっと大きいモデルだったらどうなるんでしょうか？　CIFAR10（10種類の物体があるカラー画像データセット）で学習させて、圧縮して、SVHN（Street View House Number, 路上からとった番地のカラー画像セット）に当ててみました。違う問題で学習させたと関わらず、再学習なしランダム初期化ネットワークよりパフォーマンスが良かった。そして、ランダム初期化ネットワークより少ない学習epochでフルパフォーマンスを発揮しました。

前のゲノムの話に戻りますが、ニューラルネットワークは本物の脳の模型であるなら、上記の結果を見ると、圧縮されても脳の回路図はある程度引き継がれると見受けれます。その圧縮にロスが伴うとしても、先天的な構図が学習をより効率にします。

同じメカニズムは他の動物にもありますが、人間のアドバンテージは「文化の伝承」です。

≪個人コメント≫：転移学習は上記のプライアーと再学習に似ているところが多いです。当プレゼンで発表されたアプローチの応用・延長線上で、モデル学習 → 圧縮 → 展開 → 元の学習モデルを圧縮と再展開されたモデルの比較、という流れで重要フィーチャーの抽出にも使えるでしょう。そして、学習モデルの圧縮化（モバイル・IoT用）または効率かが期待できますし、汎用性の高い新しい手法の元にもなりえます。

2020-12-16

ConvBERT: Improving BERT with Span-based Dynamic Convolution 【ConvBERT：スパンを用いた畳みこみ演算でBERTを改善】

Zi-Hang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, Shuicheng Yan

自社適応性: 4/5
期待インパクト性： 4/5
個人興味度: 3/5

BERTには入力の全体（グローバル）を見ているアテンション装置がありますが、メモリー使用量と計算コストが高い（当然のこと、学習所要時間も長い）です。ですが、学習中の動作を見れば、アテンション装置の「ヘッド」のいくつかは、全体ではなくローカル（処理中トークンの直前nトークン、直後nトークン）の依存関係だけを見ていると分かりました。ローカルの依存関係を学習するヘッドが参照する範囲を全体からスパン（文字列の一部）に変更し、学習させてみました。結果、学習コストを大幅抑えながら、パフォーマンスを維持しただけではなく高めることもできました。

≪個人コメント≫：学習コーパスや生成の時のドキュメントサイズが長くなるほど、効果は発揮できるでしょう。短いドキュメント中心のコーパスにはあまり効果は見込めないとはいえ、もしかしたらローカルのアテンションで短い文章の特徴をもっとうまく学習できるかもしれません。特に、広告文やチャットのような、文法性が緩めた可変性が高めのコーパスでは、「独特」な書き方がモデルできるかもしれません。

2020-12-17

Self-Supervised Generative Adversarial Compression

Chong Yu, Jeff Pool

自社適応性: 2/5
期待インパクト性： 3/5
個人興味度: 2/5

大規模で学習させたモデルは、数百万ものパラメータをもっているゆえに、メモリー使用量と計算コストがとても高いです。画像認識・検知や言語用のモデルに対する圧縮のいくつかの手法が適用されましたが、複雑なタスクのためのGAN（generative adversarial network）モデルに適用できる圧縮手法についての研究はあまりされていません。

本研究には、標準的な圧縮手法である「weight pruning and knowledge distillation」は、既存のメッソドでGANに適用することはできないことを証明しました。そして、学習させた識別器を教師にして圧縮された生成器を学習させる、という自己完結てきな圧縮手法を開発しました。この手法が、高度のスパース性においてもパフォーマンスを発揮できること、新しいタスクやモデルに適用しやすいこと、様々な圧縮粒度の比較を可能にすること、立証します。

Neuron Merging: Compensating for Pruned Neurons

Woojeong Kim, Suhyun Kim, Mincheol Park, Geunseok Jeon

自社適応性: 2/5
期待インパクト性： 4/5
個人興味度: 3/5

Network pruningは、ニューラルネットワークモデルの加速化・軽量化に良く使われる手法です。構造化されたネットワークのプルーニングによって、ニューロンまたフィルターが削除されることに伴い、精度が落ちます。

本研究には、完全接続レイヤにも畳み込みレイヤにも適用できるneuron merging（ニューロン融合）という新しい概念を提案しました。ニューロンの間のコサイン類似度を用いて、学習データなしかつ軽量な手法でニューロンの重みを分解できる手法も提案しました。

プルーニングされたモデルと比較して、本研究で開発した手法で改修されたモデルは、（プルーニング前）元のモデルの出力特徴量マップをよりうまく維持したうえ、ファインチューニングなしでプルーニング後モデルの精度を保ちました。一つの例として、ファインチューニングなしで、CIFAR10に対するVGG-16モデルで、パラメータの64％を削減して、93.16%の精度を達成できました。コードはこちらにあります: https://github.com/friendshipkim/neuron-merging

≪個人コメント≫：高いコサイン類似度で「行き止まり」興のニューロンを融合させる概念は、とっても味深いです。もしかしたらこの手法で「類似語」や「汎用的な視覚要素」がよりうまく実装されるかもしれません。しかも、ニューロンまたはニューロングループ単位を監視すれば、この手法で「融合するべきだがしなかった」モノは、想定している特徴量の汎用化の邪魔になっている要素（例えば、細かすぎるニュアンスで融合しない類似語とか）の発見はできそうです。

Safe Reinforcement Learning via Curriculum Induction

Matteo Turchetta, Andrey Kolobov, Shital Shah, Andreas Krause, Alekh Agarwal

自社適応性: 2/5
期待インパクト性：3/5
個人興味度: 4/5

セーフティークリティカル（安全重視）応用において、自律エージェントは間違ったら高いコストが発生してしまう環境の中に学習しなければならない場合があります。そのような環境下では、学習後のみならず学習中にでも安全な動作をする必要があります。

既存の安全重視強化学習では、学習中に危険な状況を避けるために、事前に用意されたプライアーに頼らせて学習させています。本研究では、人間同士の教示にインスパイアされた、生徒が学習している間に制約を破りそうになると教師が救ってくれるような環境でエージェントを学習させる、というアプローチを調査しました。

この学習モデルでは、教師役の装置には、学習の目的をうまくできてる必要性も、環境のルールの知識も要りません。その代わりに、エージェントが危険な行動をとり始めた時に、エージェントをリセットさせて損傷を防ぐためのコントローラーを装備します。リセットコントローラーは状況によってエージェントの額種のスピードに影響を及ぼします。教師役は、どのコントローラーをどの状況で使うべきなのかのカリキュラムを、エージェントを観察しながら学んでいきます。

≪個人コメント≫：GANのように、「敵対的学習」概念の横展開みたいですね。ただし、GANと違って、最終出力を待たずに、途中で望ましくない動作があったらすぐに学習のエポックを中止し、次のエポックに進む仕組みです。これでは、中位レイヤや高位レイヤを通して「偶然に正しい動作」（コーナーケース的な意味で）が学習されるより、最初のほうから（低位レイヤの特徴量？）に「正しい基礎」を学習させられるでしょうかね。セーフティークリティカルエージェントではなくても、この手法で「正しい基礎」は早い段階で学習させられるかな…

Kalman Filtering Attention for User Behavior Modeling in CTR Prediction

Hu Liu, Jing LU, Xiwei Zhao, Sulong Xu, Hao Peng, Yutong Liu, Zehua Zhang, Jian Li, Junsheng Jin, Yongjun Bao, Weipeng Yan

自社適応性: 4/5
期待インパクト性： 4/5
個人興味度: 4/5

「CTR予測するのには、購買意欲に関係ありそうな行動・要素とそうでないものを見分けるため、アテンションを模擬したメカニズムはいくつか開発されました。しかし、既存のメソッドは、一人のユーザーの行動に絞られケースがほとんどです。こちらは、過去の行動とまったく違う新しいものを検索されるケースが多いe-commerceにおいて不適切です。そして、そういうモデルは頻度で傾きがちですが、頻度イコール重要さではありません。

その短所に応えるべく、Kalman Filtering Attention (KFAtt)と称した新しいアテンションのメカニズムを開発されました。アプリオリ（先天的な情報）の導入で、関係性の高いユーザー行動履歴がない場合、全体の数値を使うようになります。そのうえ、頻度の上限装置の導入で、先述したバイアスは修正されます。オフラインテストにも、オフラインのA/Bテストにも、既存手法パフォーマンス上回りました。」