論文: マルチリンガルの子供の学習方法を機械学習で模倣するぞ！ (Visual Grounding in Video for Unsupervised Word Translation)

アブスト

視覚ベースをヒントに、多言語間の概念マッピングを行います

良いポイント３つは何か？

異なる言語の間のペアを学習させることができる。
データセットが少ない言語についても対応できる
テキストベースの翻訳技術に関しても、初期化の際に役立つことができる。

やり方

1つの料理の工程に対して、複数の言語によるナレーションをデータセットとして用いる。これにより視覚的なヒントから複数の言語を学習すると言うマルチリンガルの子供の学習方法の模倣することができる。

比較対象

ウィキペディアを用いたフランス語と英語などの多言語間のマッチング。非類似性からスコア

３つの貢献

我々の方法が、テキストベースの方法の多くの欠点に対処する既存の単語マッピング技
。教師なし学習であること。
教師なし学習
２つの言語間のコーパスなしで学習できるという点で教師なし学習である。
ビジュアルドメインZを土台として学習するぞ。

結論

YouTubeの動画から学習することができる。多様なコーパスに直面したときに、より強い効果を発揮する。